Saludos....
Lo primero de todo seria, saber las capacidades de tu hardware, por ejemplo podria ser que sobrecargues tu sistema haciendo que despues vaya a pasos lentos y provoque inestabilidad.
lo digo porque a mi me ha pasado con alguna antigua maquina.

Yo puedo descartar que sea por la falta de controladores o algo asi , ya que normalmente casi siempre los dispositivos usb funcionan con algun controlador generico si asi se le puede llamar.
Haz probado con algun raton o teclado de conector PS/2 y ver si persiste el problema? o probando tus dispositivos en alguna otra maquina?
No me quedan mas ideas...

mirá el uso del disco duro, *seguramente* estás usando mucho el swap y el sistema se ralentiza al tratar de acceder a esta memoria...
a mi me pasa cuando piso el GB en la swap .... ahí noto que la máquina cojea y ya sé que es ...  (ahh, sistema de 64 bits con 2 GB de R.A.M, damn, tengo que comprar MAS R.A.M xD)

sacate la duda ejecutando por consola "free -m"

Saludos ~