Título: [Resuelto] Sacar datos de una web y meterlos en un fichero Publicado por: ccrunch en 14 Julio 2015, 13:51 pm Hola a todos, por cuestiones varias necesito sacar el correo electrónico de todos los centros de educación de Valencia.
En esta página: http://www.cece.gva.es/ocd/areacd/es/consulta01.asp al pinchar sobre el código se abre otra página donde aparece el campo "E-Correo:" Necesito sacar el valor de ese campo de todos los centros y meterlos en un fichero de modo direccion@correo.com; direccion2@correo.com Alguien me puede ayudar? Le he dado vueltas pero no consigo sacarlo adelante. Salu2 y gracias a todos! Título: Re: Sacar datos de una web y meterlos en un fichero Publicado por: moikano→@ en 14 Julio 2015, 15:14 pm Pues lo primero que tienes que sacar son los enlaces. Con expresiones regulares sobre el mismo código de la página que has dado se pueden sacar todos.
Si son algo así. Código: centro.asp?codi=46019155 Pues busca una expresión regular para sacarlas todas. Y luego con un script haces curl a todos esos enlaces, poniendo un delay entre petición y petición ya que puede que tengan algún sistema de limitación de peticiones, y vuelves ha hacer una expresión regular para sacar cada correo, que por cierto no lleva protección alguna así que son fáciles de sacar. Suerte. Título: Re: Sacar datos de una web y meterlos en un fichero Publicado por: MinusFour en 14 Julio 2015, 16:28 pm Lo ideal sería que hicieras una petición inicial para parsear la tabla y sacar los links. Una vez que hace eso, lanzar peticiones a cada una de las paginas. Son cerca de 1000 peticiones por lo que vas a tener que darle un delay de 500-1000 ms para que no te bloquee su servidor.
Edit: Me puse a jugar un poco con un script, estaba un poco aburrido: http://pastebin.com/yfmQKyfb Código
Código
Realmente no es necesario la clase Petition. Puedes usar fopen o similar. Título: Re: Re: Sacar datos de una web y meterlos en un fichero Publicado por: Usuario Invitado en 14 Julio 2015, 16:54 pm Puedes hacerlo con PHP:
Código
Título: Re: Sacar datos de una web y meterlos en un fichero Publicado por: ccrunch en 17 Julio 2015, 14:02 pm Hola, gracias a todos y especialmente a MinusFour que me ha sacado de un gran apuro :xD me ha funcionado a la perfección y se ha resuelto el problema.
Gracias otra vez. Te debo una compadre ;) |