Creo que acuanetix usa varias formas..

-. Si el directorio no tiene index y el webmaster no ha prohibido el indexing te mostrara una lista directamente y solo teniene que hacer mining.
-. Mining de enlaces, recoge todos los enlaces que hay en el index los sigue, y sigue los enlaces a las paginas que ha seguido y etc xD
-. Diccionario, palabras (nombres) clave tipo: admin,wp-admin,config etc..

PD: Me imagino que tambien escaneara por si existe el archivo robots.txt para ver si hay alguna carpeta que el webmaster no desea que aparezca en los buscadores xD

Saludos

Sepáralo, haz la aplicación aparte de la librería, y ésta prográmala en módulos porque si no pesará un webo xD. Suerte