El límite práctico. Lo que es práctico, es algo relacionado:
- Factores humanos: decisiones empresariales, costos de fabricación y precios de venta y unidades vendidas, actualidad de esa tecnología de la competencia.
- Factores técnicos: consumo energético, calor que genera, escala de fabricación (miniaturización del sistema), tamaño actual de los buses de los procesadores donde se montará dicha memoria.

Lo primero que se escribe es lo que te dé la gana. Un S.O. es un programa y como cualquier programa puedes empezar a escribirlo por donde quieras. Habitualmente, se tiene un diseño previo y realmente varios equipos/personas acometen diferentes partes al mismo tiempo.
Ahora quizás lo que quisieras preguntar, es qué parte del S.O. es la primera que empieza a operar, cuando el BIOS le transfiere el control...

La diferencia entre la memoria RAM y una unidad de almacenamiento:
- La más importante es que la RAM funciona a una alta velocidad (son circuitos electrónicos, también igual que el procesador y se compone de las mismas unidades básicas... "puertas" AND, OR, NOT, XOR, estas a su vez son diseños específicos hechos (hoy día) con transistores, antes se hacían con diodos (y más antiguamente con válvulas, que son equivalentes). Un diodo, es una especie de 'grifo' (entra un cable y sale un cable) que deja pasar la corriente en un sentido pero no en otro, juntando dos diodos, se forman los transistores (tienen tres cables llamados Base, emisor y colector), la forma en que se unan dan lugar a diferente tipos de transistores los basicos:  NPN, PNP.... No sólo los hay para hacer las puertas, también los hay para rectificarla corriente...
- La unidad de almacenamiento, su mayor cualidad respecto de la RAM, es que cuando el suministro eléctrico se corta, retiene los datos, en la RAM se borran... La RAM, se parece a la pizarra de una escuela, cuando finaliza la materia se borra la pizarra, para que el siguiente profesor imparta su materia y escriba en la pizarra (su tema). La forma de almacenamiento ha pasado por varias fases desde las tarjeta s perforadas (cartones que tenían agujeritos o no en filas y columnas, agujeros, no agujeros representaban el sistema binario). Se pasó luego a las cintas magnéticas (las viejas cintas de casette, las menos viejas VHS, etc... seguían usando la misma tecnología. Básicamente son cintas de plástico muy fino, impreganadas de material ferroso... controladas por el cabezal de escritura, que orientaba mediante una corriente eléctrica los átomos de metal...). Los discos duros, son también herederos de esa tecnología (es decir también son magnéticos y recurren a un cabezal de escritura). Los CDs, DVDs, etc... en cambio utilizan un sistema algo distinto, usan huecos (como un socavón en la calle) físicos en el material, realizados por un láser... un cabezal de lectura, luego lee si hay socavón o no, para saber el valor del bit. Estos medios de almacenamiento se llaman ópticos, ya que el son sistemas ópticos los encargados de la lectura y escritura.
Hoy día, con los sistemas de almacenamiento electrónicos, usan sistemas basads en "memorias flash", que son una evolución de las memorias EEPROM, que son una memoria ROM regrabable... Las ROM, como tales son meorias de UNA única escritura, surgieron las ROM de múltiples lecturas (PROM= Programable ROM), EEPROM: PROM electricamente 'erasable' (borrable), que a su vez  es antecedida por la EPROM =PROM Erasable... Para borrarlas, se recurría a una luz ultravioleta, incidiendo sobre una ventanita de cuarzo que estaba en el chip...
ROM: PROM -> EPROM -> EEPROM. Aclarar que la ROM, sigue siendo ROM, la evolución de la ROM, para reprogramarse, ha dado alfinal con la tecnología de las memorias que ahora pueden almacenar datos de forma permanente (se supone permanente a un período de varios años, sin recibir corriente externa, incluso de hasta 20 y más años (datos teorícos de los fabricantes, posiblemente nadie lo haya probado)).



Al comeinzo todo era eléctrico, y como te decía se usaban tajetas perforadas, pero antes de eso, los datos e metían a mano en la memoria de un modo similar a como usamos hoy día el teclado (pero metiendo datos binarios), las tarjetas perforadas eran una mejora, porque suponía más velocidad de acceso (no había que esperar a escribirlo todo para pulsar el botón de 'Run', para hacertte una idea de esto imaginate un montaje eléctrico de iluminación, montas varias bombillas y solo entonces presionas el interruptor, hora imagina que las bombillas representaran '1' y '0', basta tener dos circuitos uno para encender una bombilla y otro para apagarlo).
De hecho las puertas OR, AND, NOT, XOR, NAND (not AND), NOR (not OR) y NEXOR (not XOR), se pueden reproducir con bombillas, unos cables y unos interruptores, incluso con grifos, tuberías y llaves de paso).
Cuando se diseña un nuevo sistema, ya porta una ROM, esa es la clave... la ROM es un programa (o varios, aunque en general son pequeñas rutinas específicas para cosas específicas y muy determinadas y recurrentes, del tipo: Si recibe corriente la patilla S1, generar una interupción hardware para transferir el control al dispositvo conectado al puerto 1 (la patila S1, podría representar que se ha conectado un dispositvo externo, y que ha enviado corriente eléctrica por es apatilla, que entonce sla ROM, debe interpretar que debe cederle el control... sn pequeñas tareas, que debes imaginarte, como un pequeño restaurante que dispone de varias mesas, que sucede cuando llegaunos clientes y se sientan en sus sillas, viene el camarero y les toma pedido, y envía el pedido al cocinero y al que está tras la barra (o la sirve él mismo), ...imaginate la cascada de sucesos en forma de pequeñas tareas y condicionantes).

Una vez que se enciende un equipo, el primer 'chisme' en operar es la ROM, cuando recibe energía tiene una rutina de chequeo y autocontrol (igual que el procesador), luego una rutina de chequeo del hardware conectado (memoria y su tamaño, etc..). aunque hablamos de un procesador d eforma genérica, al comienzo erna varios procesadores... uno tenía tareas encomendadas de comunicación, otro de sincronización, otro de control de la memoria, etc...
En las ROM de un PC, se supone que esperan una memoria RAM, un dispositivo de entrada de datos (como teclado, ratón, lápiz óptico),un dispositivo de salida de datos, como un monitor, o un micrófono, o simplemente luces leds y no necesariamente un dispositivo de almacenamiento masivo, aunque hoy día no concebimos un equipo sin ello... de hecho los primeros ordenadores (domesticos), recurrían a las simples cintas de casette como memoria externa, y era eterno esperar a que cargaran un simple programa de unos kb. (los profesionales también recurrían a ciontas magnéticas, pero mucho más veloces y muchísimo más grandes, similares a las cintas de las películas de celuloide de los cines).

En realidad no has buscado bien, hay infinidad de información recogido sobre todos estos temas, otra cosa es que no sepas buscarlo... Si de verdad te interesa todo esto en profundidad, lo mejor que puedes hacer es cojerte un libro viejo de informática, en los nuevos se prescinde de todo , en dos páginas ya han hablado de pasada (o directamente omitido) y ya te hablan de lo último, como si todo el mundo supiera con perfecta claridad como ha sido el devenir de la informática...