Título: [SOURCE] HideMyAss Proxy Scrapper Publicado por: xiruko en 6 Febrero 2013, 16:00 pm buenas foro,
hace unos dias pedi consejo acerca de hacer web scraping a una web y para ello necesitaba de varios proxies. pues bien, me gustaria compartir este codigo que supongo que a algunos les ayudara. es un script en php que recopila la lista de proxies de la web de hidemyass. esta probado y funciona perfectamente (al menos hace 2 semanas, si no han cambiado el formato de hidemyass deberia funcionar). la lista la carga en una base de datos de mysql, en la que crea una tabla de nombre el dia y mes actual, con los siguientes campos: id, address (ip:port), type (http, https, socks4/5) y used (la cantidad de veces que se ha usado). ademas, actualiza un fichero de texto con el nombre de la tabla actualizada. tan solo habria que rellenar los datos del apartado 'DATA' y correrlo. el codigo es el siguiente: Código
luego haria falta otro archivo que yo le he llamado 'proxy_functions.php', que contendria lo siguiente: Código
con lo que simplemente, para usar un proxy al azar en un script php, bastaria con correr en una cron job el primer script 1 vez al dia por ejemplo (o 2, o las que sean), y luego en el script en el que quieras usar el proxy hacer: Código
y bueno, el codigo no tiene casi nada de verificacion de errores, por no decir que tiene solo 1 xD, y tampoco creo que sea el codigo mas optimo y eficiente pero funcionar funciona. por ultimo decir que quien quiera usar el codigo que lo use, asi como copiarlo, modificarlo, imprimirlo y pegarlo en la nevera, o lo que sea, pero se agradeceria que si se comparte en alguna otra web o blog, se ponga un enlace a la fuente que en este caso seria esta pagina. un saludo! Título: Re: [SOURCE] HideMyAss Proxy Scrapper Publicado por: #!drvy en 6 Febrero 2013, 17:26 pm Así a primera vista, muy bueno. Lo unico que te recomiendo es no usar mysql.. usa mysqli. mysql en futuras versiones ser ira a la *****. xD
Citar imprimirlo y pegarlo en la nevera, :silbar: Saludos Título: Re: [SOURCE] HideMyAss Proxy Scrapper Publicado por: EFEX en 6 Febrero 2013, 17:54 pm por ultimo decir que quien quiera usar el codigo que lo use, asi como copiarlo, modificarlo, imprimirlo y pegarlo en la nevera, o lo que sea, pero se agradeceria que si se comparte en alguna otra web o blog, se ponga un enlace a la fuente que en este caso seria esta pagina. Podrias agregarle tu comentario, autor(vos), version, contacto., tambien subirlo a github ;) Título: Re: [SOURCE] HideMyAss Proxy Scrapper Publicado por: xiruko en 7 Febrero 2013, 14:50 pm @ drvy | BSM
gracias por la recomendacion, aunque de momento mientras funcione se quedara asi ya que ahora estoy liado con otras cosas xD ademas igual en 3 o 4 meses vuelven a cambiar el formato de hidemyass y entonces ya aprovecharia para cambiarlo todo. @ EFEX no estaria mal, pero bueno tampoco creo que sea necesario. si fuera mas codigo aun, pero apenas son 150 lineas o por ahi. me conformo con esperar que si alguien lo comparte ponga un enlace a esta web jeje gracias a los 2 por los comentarios! un saludo! |