Eso que dices se llama scraping y es exactamente lo mixmo que hace Google u otros buscadores.

Te falta un lenguaje que corra por servidor como PHP, y otro que te permita hacer el scraping (lo puedes hacer con PHP tambien, u otro, pero recomendaria Python).

Y quizas seria pertinente javascript para la pagina en front end. Como sea, este tipo de cosas las han preguntado muchisimo. Intenta ocuar el buscador la proxima vez.

---

Casi se me olvida, necesitas una base de datos tambien, te recomendaria alguna que haga sinergia con el lenguaje de programacion que utilices en servidor.

PHP -> MySQL
Java -> Oracle (por dar un ejemplo)
Node.js -> MongoDB

Ni idea... como quieras, existen muchos lenguajes. (Aun así, usa el buscador) 

Hola, yo hice eso hace un tiempo (PHP), pero el server se me colapsaba. Iba pagina por pagina y profundizaba en sus url hasta que recorría todo.

Considera el servidor.