Wayland es el sucesor de Xorg. Está en pleno desarrollo y, por lo tanto, no acabado como tal, pero probablemente pueda ser usado o puedas sacarle algo bueno.

http://wayland.freedesktop.org/

Wayland SI busca sustituir a Xorg. No se donde has leído esto, pero en la página principal lo pone claramente. De todos modos, si todavía tienes dudas, Ubuntu va a quitar Xorg y poner Wayland: http://www.phoronix.com/scan.php?page=news_item&px=MTEzNDY

En cuanto a Android:

"There are two core pieces to Android graphics: SurfaceFlinger and Skia. SurfaceFlinger is Android's compositor, used by the window manager to create and display windows (actually called surfaces.) SurfaceFlinger is implemented on top of OpenGL ES 1.x currently and can also use other hardware acceleration techniques when available (MDP, a 2D blitter on the T-Mobile G1, or hardware overlays on the Xoom.)

Each application renders into its windows (or surfaces) using primarily Skia. Skia is Android's 2D graphics library. You can also use OpenGL ES 1.x and 2.0 to render into a surface.

Android doesn't use DirectFB or X11 or any other existing Linux solution."

No creo que esté en Java. Estará programado en C; dudo que una pieza tan importante y de tan bajo nivel sea posible de programar con Java...

Ya te digo. Si quieres una alternativa, Wayland. Y todavía no está acabada. Es más, es todavía en cierto punto incompatible con muchas cosas (no están implementadas muchas aplicaciones ni se han adaptado muchos graphical toolkits como GTK, QT [sí experimentalmente, pero incompletos]). La única opción es Xorg/X11. Tampoco hay para tanto...

Mozilla OS no es exactamente un sistema operativo como tal. Lo primero que he hecho cuando lo has dicho ha sido ir al repositorio oficial que está en Github. Adivina cuales son los lenguajes más usados? Shell, Perl y Ruby. Lógicamente, es imposible que un sistema operativo sea creado con estos lenguajes, a no ser que sea una máquina virtual que corra sobre otro OS. He indagado un poco más y, sí, como me esperaba, Mozilla OS corre sobre Linux; sin embargo, han creado como virtualizado o implementado partes de un SO, de manera que probablemente sea posible acceder con lenguajes como javascript a muchas funciones del sistema (es como una abstracción de Linux, como ellos dicen):

The lower-level "operating system" of b2g. Gonk consists of a linux kernel and userspace hardware abstraction layer (HAL). The kernel and several userspace libraries are common open-source projects: linux, libusb, bluez, etc. Some other parts of the HAL are shared with the android project: GPS, camera, among others. You could say that Gonk is an extremely simple linux distribution. Gonk is a porting target of Gecko; there is a port of Gecko to Gonk, just like there is a port of Gecko to OS X, and a port of Gecko to Android. Since the b2g project has full control over Gonk, we can expose interfaces to Gecko that aren't possible to expose on other OSes. For example, Gecko has direct access to the full telephony stack and display framebuffer on Gonk, but doesn't have this access on any other OS.

En cuanto a los gráficos, OpenGL y X11, dudo que sea posible de implementarlo solo con OpenGL. Es imposible. OpenGL necesita poder hablar con la gráfica y esto se hace a través de un programa como X11, así que, y para tu 'tranquilidad', vé y coge X11. Quizás en el futuro necesites ampliar la cosa y te quedes corto. No te arriesgues. No vendrá de un par de megas más (no creo que tenga más de 10/15 MB todo el X11).

Y por cierto, en la Wiki de Mozilla hay mucha información respecto su nuevo sistema operativo (en inglés, eso sí).

Gracias por tu respuesta, pero la verdad es que conozco bastante el funcionamiento de Firefox OS. Me he leído la wiki entera y he mirado el repositorio miles de veces.

El sistema operativo no está escrito en Perl, Bash ni Ruby. Lo que tú has visto son scripts de configuración, compilación,...

Es posiblr que haga lo que dices, no complicarme y tirar de X11... pero es que es tan pesado...

@alex Quiero usar Webkit2 y v8 (de momento uso QtWebkit). ¿Cuál es la forma (que sea viable) más minimalista de hacer correr una renderización web a pantalla completa? Porque Wayland creo que usa parte de X.org...