Lo que hiciste es que no editaste bien el archivo xorg.conf, verifica si en la ruta /etc/X11/ existe algún archivo backup como xorg.conf.backup o algo así. Si existe entonces lo que vas a hacer es copiar ese archivo al original para que vuelva a la configuración predeterminada de esta manera:
# cp xorg.conf.backup xorg.conf
Por otro lado esa no es la solución a tu problema de resolución, para la resolución, para evitar que el ratón quede capturado para que pases de Windows nativo a Ubuntu virtualizado sin problemas (entre otras muchas funciones más) tienes que instalarle las Guest Adittions a Ubuntu y esto lo logras dando click en la pestaña "Dispositivos" de la ventana del VirtualBox y luego dando click donde dice "Instalar <Guest Additions>...
Una vez dando click ahí reinicias ubuntu y vas a ver una unidad virtual como si fuera un CD en el sistema, entras, ejecutas la versión de Guest Additions que sea la mejor para tu sistema (x86, AMD64) y listo.