Algo que probé aunque parezca extraño, es bajarle la cantidad de ram a la VM.

Esto lo hice para evitar el swaping en el host y así ganar velocidad, tengo 2 gb de ram un cpu Intel dual core y a la vm le puse 512.

Funciona bastante mejor, espero haber ayudado, saludos.