Bueno mira, de los muchos sistemas que uso y para los que desarrollo, segun lo que me pides tienes algunas alternativas...

Solaris
RiscOS
OpenBSD/NetBSD (Algunos dicen que FreeBSD tambien cumple)
o un Linux muy a medida


Si comentas de reaccion en tiempo real y cuelgues olvidate de lo "bonito" con eso ya se fue Windows All, y MAC OS X bueno no es mejor me disculparan los maqueros pero tambien lo uso al igual que un OSX86 y es seguro por el hecho de no ser tanta la insistencia en hacerle daño pero sigue siendo un UNIX enmascarado asi que es suceptible por ese punto, asi vamos decantando...

Ademas, ten en cuenta que si hablas de tiempo real hablas de hardware asi que no espero consideres arquitecturas monoprocesador, ahi no tienes tiempo real, tienes tiempo compartido, y si hablas de cuelgues bueno ya sabemos que muchos se fueron de la lista...

Ahora unas consideraciones:

Solaris usa el prinicipio de VM embebida por lo que es relativamente rapido a trabajo sin salida, pero cuando tiene que mostrar graficos es algo lento, no te recomiendo un desktop como el java desktop si quieres toda su potencia a tu disposicion

RiscOS tiene la desventaja que lo programado debe ser a medida, si vas ha usar modelos multiprocesador pues la aplicacion debe serlo sino la pasa a background

OpenBSD es un BSD sumamente estable y seguro pero debes tener en cuenta que sistemas asi caen por sus usuarios y bueno como buen UNIX pues tiene sus cosillas escondidas como el manejo de los FS en los que trabaja asi como el manenimiento de los Logs por defecto que pueden superar los GB si no los controlas o filtras.

Al igual que OpenBSD, NetBSD es muy estable pero a costa de la arquitectura donde se le monte

Sobre Linux pues bueno no hay mucho que decir jajaja pero debes hacerlo muy a medida para evitar problemas de seguridad y si puedes montarlo en un kernel 2.4 si no vas ha requerir dicha estacion para trabajo que meresca la pena estar en un 2.6 Kernel

RiscOS ha avanzado mucho en su diseño y portabilidad pero no es aun de terreno convencional lo condena su base aun en RISC por lo que para plataformas del tipo x86 o sin aceleradoras PPC podria ir desde mal o sin el desempeño del que presumen

Sobre la arquitectura depende mucho de los costos que puedas manejar, lo idoneo para OpenBSD seria correr en una arquitectura Alpha segun el uso que se le de, ha hecho grandes avances en UltraSparc compitiendo con quien en su tiempo fuera el señor de esos terrenos (Solaris), pero como te hablaba de costos puedes correr un Solaris bajo x86 sinembargo si puedes hacerte de un AMD64 seria lo ideal ya que los EMT64 aun convierten de SISC a RISC los AMD64 tiene soporte de RISC Nativo y ahi es donde se aplica toda la potencia de paralelismo del OpenBSD, y te repito que las aplicaciones usadas en OpenBSD como en cualquier distribucion deben ser diseñadas pensando en aprovechar al maximo la arquitectura del ordenador sino da igual correr a 32 bits que a 64 bits si la aplicacion no usa los 64 bits como deberia...

Sobre Solaris pues es uno de los descendientes directos de los originales UNIX BSD como lo son los *BSD actuales, pero Solaris junto al desarrollo de Java se fusiono en un Unix sobre Java, en teoria asi seria completamente seguro a costa de cierta velocidad