La compilación se divide en varias partes: dos de ellas son la compilación (código objeto) y el enlazado (código máquina).
http://es.wikipedia.org/wiki/Compilador#Proceso_de_compilaci.C3.B3n
Para que resuelvas las dudas que te queden.
Una vez enlazado, es decir, una vez tienes un .exe, puedes borrarlo, ya no es necesario.
Sa1uDoS