elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Entrar al Canal Oficial Telegram de elhacker.net


+  Foro de elhacker.net
|-+  Programación
| |-+  Scripting
| | |-+  [Python] Consulta - Creación CRAWLER
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: [Python] Consulta - Creación CRAWLER  (Leído 14,250 veces)
criskapunk

Desconectado Desconectado

Mensajes: 277



Ver Perfil
[Python] Consulta - Creación CRAWLER
« en: 11 Junio 2012, 03:40 am »

Buenas chicos,

Hay una página web con una estructura más o menos como la siguiente:

- Una lista desplegable con varias opciones.
- Dentro de cada una, varias opciones más (enlaces).
- En cada uno de los enlaces, varios links que redirigen a una página para visualizar o descargar un .pdf.



Mi idea es crear un programa que pueda ir abriendo automáticamente cada uno de los enlaces y descargando los archivos, por eso la pregunta:

Que librerías debería usar?
Para poder entrar mecánicamente a los diferentes enlaces, tendría que analizar el código fuente, no? Esto supongo que se podrá realizar mediante expresiones regulares.

Un saludo y muchas gracias.



En línea

overxfl0w13

Desconectado Desconectado

Mensajes: 163



Ver Perfil WWW
Re: [Python] Consulta - Creación CRAWLER
« Respuesta #1 en: 11 Junio 2012, 14:38 pm »

Utiliza urllib y urllib2 con bucles puedes sacar todas las páginas del site :)


En línea

[/url]
snhd6

Desconectado Desconectado

Mensajes: 11


Ver Perfil
Re: [Python] Consulta - Creación CRAWLER
« Respuesta #2 en: 11 Junio 2012, 14:52 pm »

O Mechanize. Se puede usar regex para analizar el fuente y está BeautifulSoup que es un parseador de HTML. Yo la verdad tiro más de Perl.
En línea

0x5d

Desconectado Desconectado

Mensajes: 241



Ver Perfil WWW
Re: [Python] Consulta - Creación CRAWLER
« Respuesta #3 en: 14 Junio 2012, 02:26 am »

Hola, buen día.
Hace un tiempo publiqué un código que encontré en la red, sobre un Website Crawler Python, espero
te sirva de apoyo en tu trabajo : http://rootcodes.com/pythonweb-site-crawler/

Saludos, Javier.
En línea

¡ SIGUEME EN TWITTER -> @JavierEsteban__ !
adastra
Endless Learner
Ex-Staff
*
Desconectado Desconectado

Mensajes: 885


http://thehackerway.com/


Ver Perfil WWW
Re: [Python] Consulta - Creación CRAWLER
« Respuesta #4 en: 14 Junio 2012, 09:57 am »

Lo mejor para lo que quieres hacer, es utilizar Scrapy Framework:
http://scrapy.org/
En línea

Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
[python] crawler http
Scripting
lnvisible 3 3,041 Último mensaje 23 Abril 2011, 05:55 am
por lnvisible
[Python] Hacer una consulta de una pagina web
Scripting
Trenico 2 3,217 Último mensaje 3 Enero 2012, 20:24 pm
por Trenico
Crawler Put Analizer , Primera BETA!! [PYTHON]
Nivel Web
afdlkglfgfdgfhgf 1 2,566 Último mensaje 11 Enero 2012, 18:42 pm
por afdlkglfgfdgfhgf
[APORTE]Web-crawler Python
Scripting
Señor X 0 1,037 Último mensaje 20 Noviembre 2014, 17:53 pm
por Señor X
problema con creacion de keylogger python!!
Scripting
eliander20 0 1,228 Último mensaje 17 Septiembre 2016, 11:07 am
por eliander20
WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines