El mp4 es bastante sencillo ya que es el propio Youtube quien lo proporciona (solo revisa el source code del video que estas viendo). Para sacar el MP3 hay varias maneras.. la más "sencilla" es descargar el MP4 y de ahí sacar solo la pista de audio (con ffmpeg por ejemplo). La más "eficiente" es leer las cabeceras del mp4 y ver donde estan los bits de audio y por lo consiguiente descargar solo esos bits.

Youtube NO permite nada de eso. Esta prohibido en sus términos y condiciones de uso. Esos sitios, van en contra de sus normas.. pero es habitual xD

Saludos