No sabes como odio los problemas con las .dll's  prueba con este que lleva la dll:
http://www.mediafire.com/?kld0s4vbqd22e6e

Lo único que se me ocurre es que intentes compilar una versión anterior de la librería. A ver si va a ser un bug...

¿Y si depende del ordenador o algo de eso? Es que no te puedo orientar más , hay muy poca información al respecto y yo no sé mucho ... De todas maneras prueba con esta que está precompilada http://www.cs.nyu.edu/exact/core/gmp/gmp-static-mingw-4.1.tar.gz , tienes que hacer lo mismo que con la que instalaste , pero quita la que te pasé yo antes!

EDITADO: Es posible que si intentas compilar tu  código modificado por mi con esa librería , obtengas errores refiriendose a la funcion mpz_inits y mpz_clears supongo que en antiguas versiones no estaba implementada.

¡Muchas de nadas! Debe de ser un bug que dependa del tipo de hardware del ordenador(cpu , cantidad de ram...) a lo mejor, es que no tengo ni idea la verdad, porque si mis librerías estuviesen mal compiladas no me saldría a mí tampoco... ¡Pues bueno problema solucionado! ¡A programar tranquilamente!

¡Un saludo crack!

Eso te iba a decir , no estaría mal , pero hay una especie de documentación para reportarlo mira http://gmplib.org/manual/Reporting-Bugs.html , una cosa sería mejor que comentasemos esto ya por privado porque el tema principal del hilo se ha zanjado.