Personalmente, desde mi experiencia, para elegir, habría que estudiar primero qué quieres hacer.

C++ te proporciona una mayor velocidad pero es algo más complejo (no gran cosa) que Java. Además, necesitas tener en cuenta el sistema operativo en que lo vas a correr (si es un sistema operativo Unix o Windows) además de la arquitectura del procesador (32 o 64 bits).

Java, aunque da las cosas más... "hechas" es bastante más lento (como han dicho por ahí, se tiene que ejecutar una máquina virtual) pero, en cambio, solucionas los problemas de portabilidad...

Piensa:
¿qué necesitas?

Un saludo.