Autor
|
Tema: [Python] Consulta - Creación CRAWLER (Leído 15,756 veces)
|
criskapunk
Desconectado
Mensajes: 277
|
Buenas chicos,
Hay una página web con una estructura más o menos como la siguiente:
- Una lista desplegable con varias opciones. - Dentro de cada una, varias opciones más (enlaces). - En cada uno de los enlaces, varios links que redirigen a una página para visualizar o descargar un .pdf.
Mi idea es crear un programa que pueda ir abriendo automáticamente cada uno de los enlaces y descargando los archivos, por eso la pregunta:
Que librerías debería usar? Para poder entrar mecánicamente a los diferentes enlaces, tendría que analizar el código fuente, no? Esto supongo que se podrá realizar mediante expresiones regulares.
Un saludo y muchas gracias.
|
|
|
En línea
|
|
|
|
overxfl0w13
|
Utiliza urllib y urllib2 con bucles puedes sacar todas las páginas del site
|
|
|
En línea
|
[/url]
|
|
|
snhd6
Desconectado
Mensajes: 11
|
O Mechanize. Se puede usar regex para analizar el fuente y está BeautifulSoup que es un parseador de HTML. Yo la verdad tiro más de Perl.
|
|
|
En línea
|
|
|
|
|
adastra
Endless Learner
Ex-Staff
Desconectado
Mensajes: 885
http://thehackerway.com/
|
Lo mejor para lo que quieres hacer, es utilizar Scrapy Framework: http://scrapy.org/
|
|
|
En línea
|
|
|
|
|
Mensajes similares |
|
Asunto |
Iniciado por |
Respuestas |
Vistas |
Último mensaje |
|
|
[python] crawler http
Scripting
|
lnvisible
|
3
|
4,135
|
23 Abril 2011, 05:55 am
por lnvisible
|
|
|
[Python] Hacer una consulta de una pagina web
Scripting
|
Trenico
|
2
|
4,356
|
3 Enero 2012, 20:24 pm
por Trenico
|
|
|
Crawler Put Analizer , Primera BETA!! [PYTHON]
Nivel Web
|
afdlkglfgfdgfhgf
|
1
|
3,311
|
11 Enero 2012, 18:42 pm
por afdlkglfgfdgfhgf
|
|
|
[APORTE]Web-crawler Python
Scripting
|
Señor X
|
0
|
4,362
|
20 Noviembre 2014, 17:53 pm
por Señor X
|
|
|
problema con creacion de keylogger python!!
Scripting
|
eliander20
|
0
|
2,416
|
17 Septiembre 2016, 11:07 am
por eliander20
|
|