Diria que para juegos 3D para dispositivos moviles se usa la libreria Opengl ES. Aunque es posible que tambien haya motores ya hechos que te faciliten la vida como Unity (aunque creo que eso no lo usa nadie).  Si te interesa el tema de juegos 3D en general deberias aprender Opengl y repasar/aprender algebra (rotaciones, traslaciones, cambios de punto de vista, etc).