VirtualDub solo admite ficheros AVIs y MPEG-1. Cualquier otro fichero (aunque tenga la misma extension), que no se adapte bajo este formato; VirtualDub no sera capaz de entenderlo.
googleando encontre este tutorial del virtualdub:
http://www.desdeunlugarmejor.com/index.php?topic=44106.msg517773;topicseen
Para unir mpg puedes usar TMPGENCODER, puedes descargarlo de aqui:
http://download1.pegasys-inc.com/download_files/TMPGEnc-2.524.63.181-Free.zip
Tutorial del TMPGENCODER:
http://www.ayudadigital.com/video/manual_cortar_unir_peliculas_mpeg.htm
Saludos