Hola, yo hice eso hace un tiempo (PHP), pero el server se me colapsaba. Iba pagina por pagina y profundizaba en sus url hasta que recorría todo.

Considera el servidor.