 Autor
|
Tema: como funciona el mecanismo de busqueda de un buscador web ? (la fase de rastreo) (Leído 2,268 veces)
|
adefesio
 Desconectado
Mensajes: 19
|
sabeis como funciona un buscador de internet para rastrear las paginas del mundo y clasificarlas? el proceso ya se mas o menos como es: primero un robot rastrea todas las paginas luego se guardan en una base de datos, luego se clasifican e indexan,
pero yo lo que no entiendo bien como funciona es la primera fase en la que un robot o lo que sea rastrea todas las paginas web del mundo. Es decir, ¿se supone que google tiene acceso a todos los servidores privados del mundo? es que para poder rastrearlas tendría que entrar en el servidor en donde está la pagina no?
1 saludo.
|
|
|
|
|
En línea
|
|
|
|
|
_teiki
|
Lo que en realidad hace es ir agregando todos los enlaces que encuentra en una página de esta forma llega a otras web y así sucesivamente, aunque para que el proceso sea mas rápido muchas veces tienes que dar de alta tu sitio web en los buscadores y aveces tienes que agregar hasta un mapa del sitio para que agregue todo tu sitio completa. Y los buscadores no tienes acceso completo a los servidores solo a el contenido público, que es el que recolectan continuamente con sus "arañas" para mantener la base de datos actualizada, también puedes excluir algunas páginas que no quieres que sean agregas a través del archivo robots.txt.
|
|
|
|
« Última modificación: 18 Mayo 2012, 02:19 am por _teiki »
|
En línea
|
|
|
|
adefesio
Desconectado
Mensajes: 19
|
lo pregunto porque me plantee como actividad crear un buscado experimental solo por probar a ver en que consiste el tema. Entonces la idea que me estoy haciendo es un programa que se dedique a solicitar paginas web a lo loco y rastrear los links que ellas contienen (luego ya ordenar y clasificar es otro tema). En principio es la unica manera que se me ocurre de empezar, a no ser que exista alguna manera de rastrear sitios ftp publicos, porque en principio un sitio ftp publico hay que conocerlo a priori, no se podria rastrear a lo loco. esto viene siendo lo qu hacen las arañas de google no?
|
|
|
|
|
En línea
|
|
|
|
|
| Mensajes similares |
|
Asunto |
Iniciado por |
Respuestas |
Vistas |
Último mensaje |
|
|
|
No funciona mi buscador
GNU/Linux
|
Choclito
|
7
|
4,326
|
25 Diciembre 2010, 08:07 am
por Choclito
|
|
|
|
El buscador Bing es más preciso en los resultados de búsqueda que Google....
Noticias
|
wolfbcn
|
2
|
2,497
|
14 Febrero 2011, 22:15 pm
por -Joserra-
|
|
|
|
Google explica a los usuarios cómo funciona el algoritmo de su buscador de....
Noticias
|
wolfbcn
|
0
|
1,744
|
6 Marzo 2013, 22:35 pm
por wolfbcn
|
|
|
|
El mecanismo de static_assert();
Programación C/C++
|
digimikeh
|
5
|
2,576
|
16 Junio 2019, 04:58 am
por digimikeh
|
|
|
|
Windows 10 no funciona la búsqueda de aplicaciones
Windows
|
Lafayette
|
2
|
3,625
|
24 Agosto 2020, 09:16 am
por Randomize
|
 |
