elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Como proteger una cartera - billetera de Bitcoin


+  Foro de elhacker.net
|-+  Programación
| |-+  Scripting
| | |-+  Google y los web spiders navegando por internet?
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: Google y los web spiders navegando por internet?  (Leído 5,065 veces)
Ali Baba


Desconectado Desconectado

Mensajes: 310


Ver Perfil WWW
Google y los web spiders navegando por internet?
« en: 28 Junio 2018, 00:20 am »

Como es que los web spiders de google navegan por internet?


En línea

#!drvy


Desconectado Desconectado

Mensajes: 5.855



Ver Perfil WWW
Re: Google y los web spiders navegando por internet?
« Respuesta #1 en: 28 Junio 2018, 00:34 am »

El propio Google sabría responderte.

Todo se reduce a seguir enlaces. De un enlace a otro. Por eso, las paginas que no están enlazadas, o las metes tu manualmente (Google Webmasters por ejemplo) o no aparecen en Google. Por supuesto tambien hay otras tecnicas minoritarias, incluso podrías recorrer todo el rango de IPv4 (sigue siendo el más popular en servidores) buscando un servicio httpd en el 80 o el 443.

Saludos


En línea

Ali Baba


Desconectado Desconectado

Mensajes: 310


Ver Perfil WWW
Re: Google y los web spiders navegando por internet?
« Respuesta #2 en: 28 Junio 2018, 01:22 am »

El propio Google sabría responderte.

Todo se reduce a seguir enlaces. De un enlace a otro. Por eso, las paginas que no están enlazadas, o las metes tu manualmente (Google Webmasters por ejemplo) o no aparecen en Google. Por supuesto tambien hay otras tecnicas minoritarias, incluso podrías recorrer todo el rango de IPv4 (sigue siendo el más popular en servidores) buscando un servicio httpd en el 80 o el 443.

Saludos

Sinceramente eres un Dios, el del rango de IP se me facilita mucho, porque quiero crear un web spider para servidores ubicados en Cuba, y como hay muy pocas IP por alla pues conozco el rango de casi todas y va a ser facil ubicarlas, pero ahora me pregunto, se puede hacer con php? no estoy muy diestro con php.
En línea

engel lex
Moderador Global
***
Desconectado Desconectado

Mensajes: 15.514



Ver Perfil
Re: Google y los web spiders navegando por internet?
« Respuesta #3 en: 28 Junio 2018, 01:26 am »

Sinceramente eres un Dios, el del rango de IP se me facilita mucho, porque quiero crear un web spider para servidores ubicados en Cuba, y como hay muy pocas IP por alla pues conozco el rango de casi todas y va a ser facil ubicarlas, pero ahora me pregunto, se puede hacer con php? no estoy muy diestro con php.

las ip no siempre te darán paginas aunque hayan configuradas en ellas, el nombre de host en necesario muchas veces... por otro lado tambien hay posiblidad que muchas estén tras cluodflare, lo que haría el escaneo por ip inutil
En línea

El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
Ali Baba


Desconectado Desconectado

Mensajes: 310


Ver Perfil WWW
Re: Google y los web spiders navegando por internet?
« Respuesta #4 en: 28 Junio 2018, 01:34 am »

las ip no siempre te darán paginas aunque hayan configuradas en ellas, el nombre de host en necesario muchas veces... por otro lado tambien hay posiblidad que muchas estén tras cluodflare, lo que haría el escaneo por ip inutil

Me salve por ese lado, Cuba no suele usar servicios como cloudflare. Pero si puedo conseguir el nombre de host de por ejemplo la pagina oficial de salud publica en Cuba http://www.sld.cu entonces puedo hacer un rastreo enlace por enlace, ya que casi todas las paginas de salud publica estan enlazadas ¿Voy bien?
En línea

#!drvy


Desconectado Desconectado

Mensajes: 5.855



Ver Perfil WWW
Re: Google y los web spiders navegando por internet?
« Respuesta #5 en: 28 Junio 2018, 01:34 am »

El problema de escanear las IP's directamente, aparte de lo que menciona @engel lex, es que un servidor podría alojar varios dominios.

Por otro lado, no estoy muy seguro de que Cuba use CloudFlare o algún CDN que no sea Cubano.. ya sabes, eso de la censura y tal xD

Citar
¿Voy bien?

Si, de hecho Google te podria hacer un flaco favor y que tengas una buena base para empezar a "crawlear"

https://www.google.es/search?q=site%3A.cu&oq=site%3A.cu&aqs=chrome..69i57j69i58.2471j0j7&sourceid=chrome&ie=UTF-8

Ahí tienes todos los dominios .cu que Google tiene indexeados.

Saludos
« Última modificación: 28 Junio 2018, 01:36 am por #!drvy » En línea

Ali Baba


Desconectado Desconectado

Mensajes: 310


Ver Perfil WWW
Re: Google y los web spiders navegando por internet?
« Respuesta #6 en: 28 Junio 2018, 01:47 am »

El problema de escanear las IP's directamente, aparte de lo que menciona @engel lex, es que un servidor podría alojar varios dominios.

Por otro lado, no estoy muy seguro de que Cuba use CloudFlare o algún CDN que no sea Cubano.. ya sabes, eso de la censura y tal xD

Si, de hecho Google te podria hacer un flaco favor y que tengas una buena base para empezar a "crawlear"

https://www.google.es/search?q=site%3A.cu&oq=site%3A.cu&aqs=chrome..69i57j69i58.2471j0j7&sourceid=chrome&ie=UTF-8

Ahí tienes todos los dominios .cu que Google tiene indexeados.

Saludos

Ahora que está la moda de que puedes alquilar un dominio y hosting en Cuba, quiero un buscador pero que solo muestre páginas cubanas. Y pues nada, espero poder hacerlo con php, para que sea un script el que indexe las páginas y no tener que hacerlo todo manualmente. Si tiene alguna sugerencia no dude en decirme.
En línea

engel lex
Moderador Global
***
Desconectado Desconectado

Mensajes: 15.514



Ver Perfil
Re: Google y los web spiders navegando por internet?
« Respuesta #7 en: 28 Junio 2018, 01:50 am »

has fuerza bruta a multiple dns buscando dominios .cu XD
En línea

El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
Ali Baba


Desconectado Desconectado

Mensajes: 310


Ver Perfil WWW
Re: Google y los web spiders navegando por internet?
« Respuesta #8 en: 28 Junio 2018, 02:34 am »

has fuerza bruta a multiple dns buscando dominios .cu XD

Lo que no comprendo ahorita mismo es como esos webspider simulan una conexión HTTP. Porque para entender las web con conocimientos de html y js no es nada dificil, se extrae el contenido fácilmente, pero la conexión, con php? He buscado en google y no doy con la maraca, como tengo que buscar?
En línea

Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines