Para asociar una extensión con un programa determinado lo unico que tienes que hacer es agregar la siguiente información al registro:

Todos estos datos deben estar en la clave HKEY_CLASSES_ROOT.
-Lo primero que debes crear es una clave con la extension. Ej: .eje
-Dentro de esta clave, en el valor predeterminado pones el tipo de archivo. Ej: ejefile
-Despues en la clave HKEY_CLASSES_ROOT, creas otra clave, el nombre de esta clave debe ser el tipo de archivo. Ej: En este caso seria ejefile.
-En esta clave, en el valor predeterminado debes poner el tipo de archivo. Ej: En este caso seria ejefile.
-Crea dos claves mas dentro de la actual (ejefile) una con el nombre DefaultIcon y la otra con el nombre Shell. El valor predeterminado para la clave DefaultIcon será la ruta del icono para los archivos con esa extensión.
-Dentro de la clave Shell crea otra clave con el nombre Open y dentro de Open creas otra con el nombre Command.
-El valor prederminado de la clave Command sera la ruta del programa con el que se abrirán los archivos con la extensión que estamos registrando.

El resultado sería algo así:
Las claves las pongo entre corchetes y los valores predeterminados entre parentesis.

[HKEY_CLASSES_ROOT]
  |
  |_[.eje]
  |     |
  |     |_(ejefile)
  |
  |_[ejefile]
        |
        |_[DefaultIcon]
        |       |
        |       |_(C:\Archivos de programa\ejemplo\ejemplo.ico)
        |
        |_[Shell]
                |
                |_[Open]
                       |
                       |_[Command]
                                 |
                                 |_(C:\Archivos de programa\ejemplo\ejemplo.exe)

Espero que te alla alludado en cuanto a lo de registrar la extensión