Obviamente google no inicio con toda la infraestructura que tienen hoy.
Google es algo mas que datacenters, Google en si es la mas grande supercomputadora funcional, google no son una ni muchas maquinas, todas son una, a eso se le llama cluster
El disco virtual clusterado de google alcanza poco mas de los 2 Petabytes, google literalmente tiene guardada en sus discos duros el internet
Google corre con GNU/Linux y con el sistema de archivos GFS, Global File system, estas soluciones se las provee RedHat, cualquiera de ustedes puede armarse un mini google tal como ellos empezaron con el sistema de archivos GFS y clisterizar los servidores para hacer una supercomputadora.
Todas las peticiones de google se reparten entre todo el cluster, recordar que cada conexión ocupa un socks y hay un numero limite de sockets por cada IP por lo que siempre responden diferentes servidores aunque no estén bajo DoS