Hola,
Un par de preguntas:
Alguien sabe si es posible montar un cluster de alto rendimiento con computadores de 32bits?
y si es posible, se podria usar windows server?

Cualquier aporte sirve.

Gracias

El tema de los cluster es que utilizas mucha energía. Entonces si lo haces con pc's antiguos tal vez no te sea rentable. Si es por experimentar un poco bien pero si vas a hacer algo serio igual te interesaría echar cuentas entre un pc decente o eso.

La comunicación se realiza mediante tarjetas de red y la programación es paralela. Había una distro linux para clusters de esto hace muchos años ahora mismo no sé como estará la cosa.
De windows también habrá algo habría que buscar.

Luego también hay que ver si te interesa mas trabajar con cpu's o gpu's.

Muchas gracias Randomize y Bundor por sus respuestas,
Ahora los contextualizo un poco, yo podría tener disponibilidad de 500 cpu (de la universidad) que corren a 3Ghz con 2Gb de ram y 256Mb en la tarjeta gráfica, están conectadas todas entre si, pues, para salir a Internet deben pasar por un proxy general, hice pruebas de con nmap y están todas al alcance y a una distancia moderadamente pequeña (grupos de aprox. 40 por sala con un espacio de 30cm entre cada pc).
Y ya que me recuerdan lo de la cpu y gpu, pregunto, podria usar cpu y gpu combinadas?

muchas gracias.

Suena interesante...
tal vez no sea el mas indicado para asesorarte pero bueno la idea en estas cosas "es sencilla" pero complicada de llevar a cabo.
Lo que me pregunto es si esos ordenadores los utilizan los alumnos. Y que clase de datos vas a tratar.

LA PARTE FÍSICA:
Según das a entender dispones de aulas con ordenadores donde ya están conectados en red y puedes visualizarlos desde algún punto. Ya lo tienes hecho. 

EL SOFTWARE:
Puedes poner algún sistema operativo para este fin tipo windows server 2008/2012 linux openmosix, Ubuntu y Mpichs buscar un programa tipo "Boinc"/"SETI" para que haga lo mismo o crear/modificar uno propio. 

La escalabilidad y el balanceo me imagino que cada soft lo gestionará a su manera.
Creo que elegir el software adecuado y saber manejarlo puede llevar tiempo. Yo no tengo nada para probar algo así pero me gusta el tema. Si eres profesor podrías involucrar a tus alumnos y si eres alumno a tus profesores XD.

A ver si responde alguien mejor formado.