Hola
Por lo que comentas solo cambiaste de contenedor e incrustarse las pistas de audio y vídeo en un .avi, si bien VirtualDub abre vídeos .avi el verdadero problema es que ese tipo de pistas no son propias de un contenedor .avi y además te faltan los decodificadores VFW para ese formato.
Hay 3 posibles soluciones a este problema:
1) Utilizar un programa similar pero que esté preparado para editar vídeos .mp4 como AVIDemux.
2) Descargar el "
VirtualDub ffmpeg input plugin" que como su nombre indica es un plugin para VirtualDub que permite abrir una gran cantidad de formatos de vídeo utilizando a FFMPEG como decodificador. Descargas el plugin, lo descomprimes y copias a la carpeta de Plugin en la carpeta de VirtualDub.
Una vez hecho esto ya podrías cargar directamente el .mp4.
3) Instalar y utilizar un Frameserver como Avisynth, crear el correspondiente script y cargar el .avs en VirtualDub.
Las opciones estarían ordenadas de más fácil a más difícil aunque también sería válida una cuarta opción que sería encodear el vídeo .mp4 a .avi Xvid/Mp3, ahí no tendrás problemas en abrirlo en VirtualDub y si luego de editar utilizas la opción Direct stream copy para exportar ni siquiera estarías re-comprimiendo.
Saludos