Haber empezado por ahí. Usas aplicaciones cliente-servidor a diario, por ejemplo el navegador web que usas es un cliente web que se conecta a un servidor web. La forma más fácil de desarrollar GUIs en java es usar
swing.
Si necesitas aprender java puedes leer un
manual.
Suerte!