Foro de elhacker.net

Programación => Scripting => Mensaje iniciado por: bacanzito en 18 Octubre 2022, 04:23 am



Título: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
Publicado por: bacanzito en 18 Octubre 2022, 04:23 am
quiero cazar cuotas deportivas en vivo  sin perdida :rolleyes:

Vi este proyecto pero está desactualizado  :-[

https://github.com/isaacharrisholt/vorn-surebet-finder


Título: Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
Publicado por: flacc en 19 Octubre 2022, 03:38 am
Yo para scrapping uso Python 3.8+. Tu puedes usar la versión de Python que gustes, la gracia es irse actualizando, pero saber sobre las anteriores para toquetear también el source desactualizado que pilles y hacerlo funcionar en Python 3.

Uso éstas librerías:
  • selenium: Para aquellos trabajos donde el browser debe manipularse remotamente
  • lxml: Para procesar el doom
  • requests: para las peticiones HTTP

javascript y PHP tambien tienen campo en el web scraping, si quieres montar un webhosting gratuito, puede que solo tengas PHP, por lo que es buena idea tener noción de tal lenguaje. En cambio, javascript provee algunas cosillas rápidas en la consola del browser y una sintaxis mas o menos tradicional (cuestión de gustos).

El scrapping no necesariamente tiene que ser el sistema principal, puedes funcionar con un wordpress cualquiera alimentando la base de datos en base al procesamiento del scraping.


Título: Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
Publicado por: Elektro Enjuto en 19 Octubre 2022, 06:00 am
¿Que lenguaje de programación recomiendan?

Este proyecto lo desarrollé para un cliente hará unos 5 años:

( Hacer click en la imagen para maximizar... )

(https://i.imgur.com/lMdq3G5.png) (https://i.imgur.com/lMdq3G5.png)

(https://i.imgur.com/eE2jaiT.png) (https://i.imgur.com/eE2jaiT.png)

Los controles de grillas no contienen ningún dato visible de las apuestas debido a que no he seguido actualizando y manteniendo la aplicación después de haber concluido el trabajo. De hecho, no he vuelto a abrir esta aplicación hasta el día de hoy, por que quería enseñártela para fundamentar mi respuesta, solo para darme cuenta de que la obtención de las apuestas en vivo ha dejado de funcionar debido a que al parecer en algún momento determinado William Hill pasó a requerir contactar con ellos para solicitar una clave de API, y la aplicación primeramente debe ser aprovada por ellos. Y como es evidente yo no he contactado con ellos ni he pedido la aprobación de esta app ni nada de nada durante estos 5 años desde que concluí el desarrollo de esta aplicación.

Pero bueno, espero que las imágenes igual te sirvan como un sketch, mockup o ilustración para que te puedas imaginar la cantidad de mercados y datos de apuestas que habían disponibles en la interfaz de usuario y su representación visual mediante las filas de las grillas. Literalmente estaban representados todos los deportes y partidos disponibles en William Hill. Y con un intervalo de refresco arbitrario de 1 minuto.

 - Lenguaje de programación: VB.NET
 - UI framework: Windows Forms + Telerik UI for WinForms
 - API de precios: William Hill ( "http://pricefeeds.williamhill.com/bet/en-us?action=GoPriceFeed" ) - disponible y gratuita en su día.
 - API de web-scraping: HtmlAgilityPack (es un analizador de HTML escrito en C#, y compatible con XPATH o XSLT).

Esa es mi sugerencia, siempre recurro a .NET para llevar a cabo tareas de web-scrapping, para mi es lo más productivo (rápido y fácil), pero seguro que esto es por simple costumbre de prácticas repetitivas, como lo será también por costumbre para quien esté acostumbrado a trabajar periodica y productivamente con Python u otro lenguaje.

Por supuesto cualquier lenguaje con herramientas capacitadas para analizar html te sirve por igual.

De todas formas y por lo que estoy viendo a simple vista en el buscador de Google, al parecer hoy en día la mayoría de APIs de precios / odds son de pago, algunas son freemium (solo te permiten una cantidad gratuita y limitada de peticiones mensuales, a menos que pagues para poder hacer más peticiones), y más que parsear HTML sería parsear la respuesta JSON de la API que se utilice.

O muy a malas a falta de una API siempre puedes recurrir a hacer web-scrapping directamente en la web de apuestas (como hacen en ese repositorio de GitHub con Python).

Saludos.


Título: Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
Publicado por: FJDA en 19 Octubre 2022, 08:20 am

 solo para darme cuenta de que la obtención de las apuestas en vivo ha dejado de funcionar debido a que al parecer en algún momento determinado William Hill pasó a requerir contactar con ellos para solicitar una clave de API, y la aplicación primeramente debe ser aprovada por ellos.

yo hice uno exclusivo para quinialistas con obtenía estadísticas, equipos, logos, probabilidades, generación de pronósticos, etc. Lo malo de este tipo de programas cuya información se alimenta de sitios Web es que con el tiempo esas Web se actualizan, cambian urls o incluso se cierran y por una razón u otra ya no es posible obtener información de la misma.

Eso significa tener que llenar toda el código fuente de comentarios porque con el tiempo si quieres que siga funcionando tendrá que volver a modificar el código para adaptarlo a la forma en que la Web trabaja.

Saludos


Título: Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
Publicado por: Elektro Enjuto en 21 Octubre 2022, 22:45 pm
Eso significa tener que llenar toda el código fuente de comentarios porque con el tiempo si quieres que siga funcionando tendrá que volver a modificar el código para adaptarlo a la forma en que la Web trabaja.

Toda la razón del mundo. Quien haya mantenido durante un periodo extenso un código específico para el uso de una API de terceros ya sabe a lo que se atiene, por que a veces y con el paso del tiempo hacen cambios tan radicales que en el peor de los casos llegan a cambiar casi por completo el modo de utilización de la API, y te cambian el lugar de las funciones y las funciones se renombran por otros nombres que pueden ser menos o más intuitivos, en fin, pueden cambiar muchas cosas en menos de 1 año y debido a esto se puede volver necesario incluso hacer todo de nuevo para adaptar el código a estos cambios. Google es un "genio" en dar por culo de esta manera (al menos en lo que respecta a sus API para .NET).

Un saludo