Sencillo: en una consola simplemente corres el juego, y está especializada para eso.
Aunque la arquitectura de una xbox es similar a la de un pc, está pensada para juegos y además sólamente ejecuta juegos, no ejecuta un SO por lo que no tenemos diferentes capas de abstracción, es todo directo.
Además las consolas también trabajan a baja resolución por lo general (800x600 es rarísimo en una consola, lo normal es 640 o 320), y yo os digo que en una TV normal (no HDTV) no se nota apenas la diferencia.
Cualquier juego a 320 te rula de vicio hoy en día con un ordenador normalito
PD: Supongo que por eso dices lo del USB, pero los mandos de la XBOX son USB, pero con otro conector (y una diferencia a nivel de drivers que hace que no se pueda usar como un pad normal con los drivers de windows, aunque si con algunos que rulan por la web)