ShellExecute:

ShellExecute(NULL,"open",navegador,URL,NULL,NULL);

con SW_HIDDEN  no vas a poder ocultar a firefox.
si lo que quieres es ocultar la ventana del proces del navegador entonces tendras que crearte una instance de un nuevo escritorio
para poder mostrarlo solo en el escritorio que has creado ( utilizando: CreateDesktop ). luego pasando el mismo nombre del
nuevo escritorio y utlizando CreateProcess:

     STARTUPINFO              SI;
     PROCESS_INFORMATION      PI;
     HANDLE nDekt;
     memset(&SI, 0, sizeof(SI));
     memset(&PI, 0, sizeof(PI));
 
     SI.cb = sizeof(SI);
     SI.lpDesktop = "newDesktop";
 
     if(nDekt = CreateDesktop("newDesktop",0,0,0,GENERIC_ALL,0))
     {
 
          CreateProcess( "C:\\Program Files (x86)\\Mozilla Firefox\\firefox.exe",
                         "www.google.com",                 
                         0,
                         0,
                         0,
                         DETACHED_PROCESS,
                         0,
                         0,                              
                         &SI,
                         &PI);
 
     }
     return 0;

con eso ocultas cualquier ventana de cualquier  


PD_ no olvidar cerrar el handle al objeto.