debes tener un conocimiento (no básico, sino bastante extenso) sobre las estructuras de los programas, saber que programa posiblemente tiene la victima para mostrar la musica o imagen, con eso, ir al el programa y buscar vulnerabilidades en el manejo de los datos, donde posiblemente pueda haber un punto donde se ejecute alguna sección o que una parte de la memoria se pueda desbordar, calculando ese desborde, ver que puedes ejecutar... tampoco es que en todos los casos puedes ejecutar lo que quieres, una exe super complejo y eso, en algunos casos son unas pocas instrucciones que darían pié a algo más... sin embargo estas vulnerabilidades no son comunes, y las existentes en los programas más usados, han sido descubiertas y parchadas
aquí tienes una idea sobre ello
http://es.wikipedia.org/wiki/Desbordamiento_de_b%C3%BAfer