Antes de decidir con qué lenguaje de programación empezarás, debes tener en cuenta que existen muchos de éstos, por lo tanto tienes que escoger qué te gustaría programar, o sea, si te gustaría la programación a nivel Web, simples aplicaciones de escritorio, programación a bajo nivel...

Mi recomendación personal es que inicies con C o C++; son quizás los lenguajes de alto nivel más "complicados" o más "complejos", su aprendizaje puede ser dificultoso al contrario de, por ejemplo, Python que tiene una sintaxis muy limpia y su desarrollo puede ser lento comparado con otros como pueden ser Java o C#. Pero por el contrario, son los lenguajes de alto nivel más potentes y gracias a su rapidez y flexibilidad, recordemos que ambos son lenguajes de propósito general, se han consolidado. Los sistemas operativos están programados en su mayoría en C/C++ al igual que programas tan usados como el Photoshop o cualquier antivirus.

Si te decides finalmente a programar en C o C++, te invito a que te pases por el foro. Existe un tema con muchos libros a tu disposición que serían ideales para empezar:

http://foro.elhacker.net/programacion_cc/librospapers_cc-t296234.0.html