Antes que sistema operativo yo pondria piezas de hardware,

250 de ram? no me estraña tio...

Ole! por usar XFCE, buscando rendimiento.

Tu problema puede estar ocasionado por varias razones.

Cuando notes el PC tan saturado usa el comando top para ver que procesos son los que realizan esta carga al sistema y ver cuanta CPU y MEM consumen. A veces algun proceso se queda pillado y debes matarlo, o cierto programa consume demasiado y debes buscar otra alternativa.

Yo le añadiria un modulo de 512M mas a tu RAM.

No, no quise decir que hicieras mal instalado XFCE. Al contrario te felicito con que pruebes ese tipo de cosas.

Tampoco es que sea el mas rapido, es solo uno de los mas rapidos. Hay otros que aun consumen menos;
- LXDE (este es el que personalmente mas me gusta)
- IceWM
- Fluxbox
.... y un sin fin mas.

Creo que con la ampliacion de la RAM notaras diferencia. Es posible tambien que cuando le metas mas RAM le debas incrementar la particion de swap (dependiendo del tamaño que le tengas asignado actualmente).
De todas formas Ubuntu es una distribucion de las mas pesadas, si no la personalizas quitandole servicios y modulos que arrancan al iniciar, es normal que te consuma mas de lo que esperabas.