¿Que pasa realmente en el sistema operativo cuando hablamos de que un programa se está instalando
Que se está preparando para su currecta ejecución.
Lo demás que ocurra a un nivel digamos "interno" será una incertidumbre para el usuario, a menos que se analice cada procedimiento de instalación por
individual.
Instalar un software puede ser una operación tan sencilla e insignificante como colocar/copiar un archivo executable en un directorio, y listo. O puede ser algo tan complejo e intrusivo en el sistema como registrar controladores, servicios de Windows, librerías, extensiónes de la shell, fuentes true type, expandir archivos de todo tipo, modificar el BCD, crear o modificar variables de entorno, crear nuevos dispositivos de red virtuales, registrar tipos de archivos creando o modificando las claves necesarias en el registro de Windows... y así hasta que mencionemos casi todas las operaciones que se pueden realizar de forma programática en un sistema operativo, es decir, un infinito etcétera de posibilidades.
En resumen, que no se te puede dar una respuesta simple y sencilla que lo abarque todo, por que ese "todo" sería muy extenso ya que cada proceso de instalación es un mundo distinto dependiendo de los requisitos para su preparación, lo cual en la mayoría de casos suele ser un procedimiento de preparación abstracto y automatizado (sin intervención del usuario) en eso que conocemos por el nombre de "Instalador".
Saludos!