Me temo que con el TMPGEnc no podrás rotar la imagen, ya que no tiene esa función.
Pero sí podrías hacerlo con el Virtualdub, Virtualdubmod o Spanishdub, aplicando el filtro "rotate".
Vas a la pestaña "Video" y selecciona la opción "Full processing mode" o "Modo proceso completo". Vuelve a la pestaña "Video" y selecciona la opción "Filtros".
Te aparecerá una ventana y le das al boton "Add" o "Añadir". Te aparecerá una ventanita con todos los filtros que tiene el programa, seleccionas el filtro "Rotate" y le das a aceptar. En la siguiente ventana marca la opcion que creas conveniente.
Verás que en la ventana principal el video de la derecha a cambiado, asegurate de que la imagen ya queda bien, si no fuera así vuelves a repetir los mismos pasos hasta que te quede la imagen "recta".

Piensa que al principio marcaste la opción "Full Processing Mode" por lo tanto tendrás que comprimir el Video, enla pestaña "Video" selecciona "Compresion", seleccionas el codec que quieras y Aceptar.

Luego en la pestaña "Audio" selecciona la opción "Direct Stream Copy" o "Copia Directa".

Una vez tengas el video asegurate de que tiene audio, tanto al principio como al final. Ya que si no tuviera, tendrías que comprimir el audio con algún codec.

Saludos