Foro de elhacker.net

Foros Generales => Dudas Generales => Mensaje iniciado por: BeLGaRioN en 26 Julio 2012, 21:15 pm



Título: Uso de wget para descargar una web "distinta"
Publicado por: BeLGaRioN en 26 Julio 2012, 21:15 pm
Hola,

Primero disculparme si no he metido el tema en el subforo adecuado, creo que era el que más se adecuaba a su temática.

Bueno, al lío, estoy intentando descargarme una página web que carga contenidos dinámicamente. La web en cuestión es esta http://sports.betfaironline.eu/?ci=11760594&ex=1&origin=LHMA . Como veis, el cupón se genera dinámicamente y la web en sí tiene un entramado que, al menos para mí, resulta muy lioso. Bien, resulta que si con el firefox voy a Archivo > Guardar Como... y la guardo como web completa, lo hace bien, bueno puede parecer que no, pero dentro de una carpeta que genera llamada a_data, guarda un html llamado sportToday.htm que contiene la información que me interesa al fin y al cabo.

Bien, explicado todo lo anterior, yo querría hacer esto mismo con wget, ya que busco automatizarlo. He probado muchísimos parámetros que me han parecido que podrían hacer algo que me valiese, pero no he conseguido nada, wget descarga lo que le parece, que dependiendo de lo que le indiques será ficheros en blanco o parcialmente llenos, pero nunca la información que necesito. Escribo ya aquí por desesperación, a ver si a alguien sabe.

En resumen, de la página anteriormente citada busco descargarla y que se vean al menos los partidos.

Un saludo y gracias.


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: peib0l en 26 Julio 2012, 21:25 pm
puedes poner exactamente que opciones incluyes en wget? me parece extraño que no trabaje bien...  :-\  :-\


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: BeLGaRioN en 26 Julio 2012, 21:41 pm
Las primeras que empecé usando fueron -r y -m ya que había leído que descargaban la web completa (yo entendía como web completa a aquello que yo miraba, incluído css, imágenes y demás), pero resulta que descarga el sitio web completo, lo cual no es lo que busco. Probé también -np para que descargase todo menos los directorios hacia atrás (algo que me valdría si funcionase correctamente en esa web). En fin, ya ni recuerdo exactamente todo lo que probé. A ver si alguien puede prestarme alguna ayuda.


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: Eleкtro en 26 Julio 2012, 21:51 pm
Código
  1. wget -m -k -E -p "http://sports.betfaironline.eu/?ci=11760594&ex=1&origin=LHMA"

Con eso puedes ver acceder a las pestañas de los partidos (No especificaste muy bien lo que querias ver.)

Saludos.


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: BeLGaRioN en 26 Julio 2012, 22:08 pm
Código
  1. wget -m -k -E -p "http://sports.betfaironline.eu/?ci=11760594&ex=1&origin=LHMA"

Con eso puedes ver acceder a las pestañas de los partidos (No especificaste muy bien lo que querias ver.)

Saludos.

Lo que quiero es poder ver esto como mínimo:

Start v Bryne1.221.256.68.414.520

Y así sucesivamente para todos los partidos que salen, como mínimo, luego si sale la web tal cual pues igualmente me vale. Sólo pretendo eso guardar la web con sus imágenes, css y, por supuesto, el contenido que me interesa que es ese que he dicho arriba.

Te agradezco el intento, pero he estado probando lo que me has dicho y sólo recoge páginas en texto plano, sin los partidos, y unas cuantas carpetas.


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: BeLGaRioN en 27 Julio 2012, 01:40 am
Bueno, creo que la solución estaría aquí:

http://ubuntuincident.wordpress.com/2011/04/15/scraping-ajax-web-pages/

Pero, no he conseguido hacerlo funcionar, así que no se me ocurre nada más.


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: NEXUS978 en 27 Julio 2012, 02:23 am
Me alegro de que se haya sacado este post, vereis ando desde hace tiempo con ganas de descargarme la sección de una pagina dedicada al mundo del comic, esta sección incluye una gran base de datos por colecciones, portadas,autores etc.
el problema es que cuando intento descargarme dicha sección para que os hagais una idea os pondre un ejemplo:
suponed que esta coleccion de mortadelo tiene 55 portadas y estan distribuidas en 8 galerias de imagenes.
Bien lo que me ocurre es que me salva la primera pagina pero no las siguientes y asi con todo vamos un caos completo y he probado el teleport pero su configuracion me parece complicadisima, no se si teneis la solucion a esto.


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: alcidoga en 21 Noviembre 2013, 16:53 pm
Hola será que alguien puede ayudarme con el tema de wget , no logro descargar archivo en una conexión de red LAN, de que forma puedo hacer el scrip ya que en otro tipo de conexión si me permite descargar.
saludos


Título: Re: Uso de wget para descargar una web "distinta"
Publicado por: jemez44 en 23 Noviembre 2013, 23:06 pm
Hola será que alguien puede ayudarme con el tema de wget , no logro descargar archivo en una conexión de red LAN, de que forma puedo hacer el scrip ya que en otro tipo de conexión si me permite descargar.
saludos

mejor abre un hilo nuevo.