Baja Plop Boot Manager:
http://download.plop.at/files/bootmngr/plpbt-5.0.14.zip
Extra los contenidos del archivo en una carpeta que tu gustes. Posicionate en la carpeta Windows de los archivos extraidos. Dale click derecho a InstallToBootMenu.bat y seleciona la opcion de correr como administrador. El script te preguntara si quieres instalar Plop Boot Manager al Boot Menu y tu escribes "y" y luego enter.
Esto debe instalar el Plop Boot Manager y una entrada en tu menu de booteo de Windows. Lo unico que tienes que hacer es reiniciar el sistema con la USB de Ubuntu puesta y a la hora de Inicio debes selecionar Plop Boot Manager.

Te debe aparecer un menu como este:

Solo debes selecionar USB y deberia bootear de ahi.
Despues puedes remover Plop Boot Manager, aunque yo lo conservaria si tienes problemas para bootear desde USB.