Tu problema no radica en que no tengas drivers ya que, como dijo Vertex, el tener entorno gráfico es una prueba de ello. Una mejor prueba sobre el rendimiento del mismo (que como ya te dijeron, el driver para las Intels no es de lo mejor), sería con una herramienta de benchmark o con un juego que corra nativamente en Linux.....no con un juego emulado por Wine o el compiz, ya que quizás acá el problema es otro.

Mi recomendación:

1. Desactivá todos los efectos de escritorio (que si mal no recuerdo, en Ubuntu vienen activados por defecto).
2. Probá un juego que corra nativamente en Linux
3. Si este juego funciona mal, buscá otra versión de los drivers. Yo para jugar Regnum Online con mi nvidia gtx260 tuve que hacer un downgrade importante, sino funcionaba muy mal, pero en este caso el problema es la programación del juego en sí. Y recorda que el driver para las intel no es muy bueno  
4. Si todo va bien, busca problemas de emulación de proyect64 sobre wine.
5. Armá un dual boot con Windows xp para cuando tengas ganas de jugar. Actualmente yo hago eso, aunque no soy una persona que juegue mucho, de vez en cuando me dan ganas, y ahi corro un win con algun que otro juego. Como uso linux para no renegar de algunas cosas que me pasan en windows, uso windows para no renegar con la falta de juegos en linux, para cada trabajo su herramienta