teóricamente solo el .exe

Por que algunos programas pueden depender de otros archivos como dlls externas.
Si te pide dicho archivo debes incluir en el directorio, pero no creo que te pida nada en cosas sencillas.
También los puedes agregar estéticamente dichas dll dentro del exe si así lo permite la licencia de dicha dll.
Algunos programas abren imágenes o sonidos o mil cosas mas y todo eso debe estar en algún lugar si quieres que se reproduzca.
Son cosas que creo que ya te las preguntaras en su debido momento si llegas a trabajar con eso