Tema destacado: Entra al canal IRC oficial de #elhacker.net
 Autor
|
Tema: Bot Google (Leído 908 veces)
|
|
pisagatos
|
Tenia esta duda desde siempre, como se crean los spiders, bot y demas robots qe son capaces de indexar webs enteras para los buscadores, tipo: Google??
En que lenguje estan hechos? Estan simplemente en un servidor, se sube por ftp, como??? Es que es por pura curiosidad, gracias
|
|
|
|
|
En línea
|
|
|
|
|
Thaorius
|
Segun creo yo, es un programa que hace una ocnsulta a una base de datos que contiene las url.
Las visita a todas y va escalando directorios con peticiones http.
Obtiene los links y metas de las paginas y los escanea y indexa.
Y sigue propagandose por estos links y estos lelvan a otras paginas y haci, se mantiene.
No esm uy dificil(segun lo veo) de programar.
Te recomiendo leas dle protocolo http.
Saludos
|
|
|
|
|
En línea
|
|
|
|
|
Ragnarok
|
El lenguaje en que se pueden hacer es cualquiera que permita manejar sockets y las bases de datos en que guarden los resultados, que es casi cualquiera. Se puede ejecutar en cualquier ordenador que tenga conexión a internet, aunque supongo que lo normal en estos casos es tener una base de datos distribuida y que un conjunto de los ordenadores (estaciones de trabajo, supercomputadores, lo que sea) que tienen esa base de datos sea el encargado de meter la nueva información.
|
|
|
|
|
En línea
|
|
|
|
|
 |
