elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Estamos en la red social de Mastodon


+  Foro de elhacker.net
|-+  Programación
| |-+  Scripting
| | |-+  Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?  (Leído 4,884 veces)
bacanzito

Desconectado Desconectado

Mensajes: 151


Ver Perfil
Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
« en: 18 Octubre 2022, 04:23 am »

quiero cazar cuotas deportivas en vivo  sin perdida :rolleyes:

Vi este proyecto pero está desactualizado  :-[

https://github.com/isaacharrisholt/vorn-surebet-finder


En línea

flacc


Desconectado Desconectado

Mensajes: 854


Ver Perfil WWW
Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
« Respuesta #1 en: 19 Octubre 2022, 03:38 am »

Yo para scrapping uso Python 3.8+. Tu puedes usar la versión de Python que gustes, la gracia es irse actualizando, pero saber sobre las anteriores para toquetear también el source desactualizado que pilles y hacerlo funcionar en Python 3.

Uso éstas librerías:
  • selenium: Para aquellos trabajos donde el browser debe manipularse remotamente
  • lxml: Para procesar el doom
  • requests: para las peticiones HTTP

javascript y PHP tambien tienen campo en el web scraping, si quieres montar un webhosting gratuito, puede que solo tengas PHP, por lo que es buena idea tener noción de tal lenguaje. En cambio, javascript provee algunas cosillas rápidas en la consola del browser y una sintaxis mas o menos tradicional (cuestión de gustos).

El scrapping no necesariamente tiene que ser el sistema principal, puedes funcionar con un wordpress cualquiera alimentando la base de datos en base al procesamiento del scraping.


En línea

Elektro Enjuto

Desconectado Desconectado

Mensajes: 121



Ver Perfil WWW
Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
« Respuesta #2 en: 19 Octubre 2022, 06:00 am »

¿Que lenguaje de programación recomiendan?

Este proyecto lo desarrollé para un cliente hará unos 5 años:

( Hacer click en la imagen para maximizar... )





Los controles de grillas no contienen ningún dato visible de las apuestas debido a que no he seguido actualizando y manteniendo la aplicación después de haber concluido el trabajo. De hecho, no he vuelto a abrir esta aplicación hasta el día de hoy, por que quería enseñártela para fundamentar mi respuesta, solo para darme cuenta de que la obtención de las apuestas en vivo ha dejado de funcionar debido a que al parecer en algún momento determinado William Hill pasó a requerir contactar con ellos para solicitar una clave de API, y la aplicación primeramente debe ser aprovada por ellos. Y como es evidente yo no he contactado con ellos ni he pedido la aprobación de esta app ni nada de nada durante estos 5 años desde que concluí el desarrollo de esta aplicación.

Pero bueno, espero que las imágenes igual te sirvan como un sketch, mockup o ilustración para que te puedas imaginar la cantidad de mercados y datos de apuestas que habían disponibles en la interfaz de usuario y su representación visual mediante las filas de las grillas. Literalmente estaban representados todos los deportes y partidos disponibles en William Hill. Y con un intervalo de refresco arbitrario de 1 minuto.

 - Lenguaje de programación: VB.NET
 - UI framework: Windows Forms + Telerik UI for WinForms
 - API de precios: William Hill ( "http://pricefeeds.williamhill.com/bet/en-us?action=GoPriceFeed" ) - disponible y gratuita en su día.
 - API de web-scraping: HtmlAgilityPack (es un analizador de HTML escrito en C#, y compatible con XPATH o XSLT).

Esa es mi sugerencia, siempre recurro a .NET para llevar a cabo tareas de web-scrapping, para mi es lo más productivo (rápido y fácil), pero seguro que esto es por simple costumbre de prácticas repetitivas, como lo será también por costumbre para quien esté acostumbrado a trabajar periodica y productivamente con Python u otro lenguaje.

Por supuesto cualquier lenguaje con herramientas capacitadas para analizar html te sirve por igual.

De todas formas y por lo que estoy viendo a simple vista en el buscador de Google, al parecer hoy en día la mayoría de APIs de precios / odds son de pago, algunas son freemium (solo te permiten una cantidad gratuita y limitada de peticiones mensuales, a menos que pagues para poder hacer más peticiones), y más que parsear HTML sería parsear la respuesta JSON de la API que se utilice.

O muy a malas a falta de una API siempre puedes recurrir a hacer web-scrapping directamente en la web de apuestas (como hacen en ese repositorio de GitHub con Python).

Saludos.
« Última modificación: 19 Octubre 2022, 06:34 am por Enjuto Mojamuto » En línea

@%$& #$ %&#$, ¡hay que decirlo más!.
FJDA


Desconectado Desconectado

Mensajes: 323


Ver Perfil
Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
« Respuesta #3 en: 19 Octubre 2022, 08:20 am »


 solo para darme cuenta de que la obtención de las apuestas en vivo ha dejado de funcionar debido a que al parecer en algún momento determinado William Hill pasó a requerir contactar con ellos para solicitar una clave de API, y la aplicación primeramente debe ser aprovada por ellos.

yo hice uno exclusivo para quinialistas con obtenía estadísticas, equipos, logos, probabilidades, generación de pronósticos, etc. Lo malo de este tipo de programas cuya información se alimenta de sitios Web es que con el tiempo esas Web se actualizan, cambian urls o incluso se cierran y por una razón u otra ya no es posible obtener información de la misma.

Eso significa tener que llenar toda el código fuente de comentarios porque con el tiempo si quieres que siga funcionando tendrá que volver a modificar el código para adaptarlo a la forma en que la Web trabaja.

Saludos
En línea

Elektro Enjuto

Desconectado Desconectado

Mensajes: 121



Ver Perfil WWW
Re: Ganar dinero haciendo Scraping Web en vivo ¿Que lenguaje de programación recomiendan?
« Respuesta #4 en: 21 Octubre 2022, 22:45 pm »

Eso significa tener que llenar toda el código fuente de comentarios porque con el tiempo si quieres que siga funcionando tendrá que volver a modificar el código para adaptarlo a la forma en que la Web trabaja.

Toda la razón del mundo. Quien haya mantenido durante un periodo extenso un código específico para el uso de una API de terceros ya sabe a lo que se atiene, por que a veces y con el paso del tiempo hacen cambios tan radicales que en el peor de los casos llegan a cambiar casi por completo el modo de utilización de la API, y te cambian el lugar de las funciones y las funciones se renombran por otros nombres que pueden ser menos o más intuitivos, en fin, pueden cambiar muchas cosas en menos de 1 año y debido a esto se puede volver necesario incluso hacer todo de nuevo para adaptar el código a estos cambios. Google es un "genio" en dar por culo de esta manera (al menos en lo que respecta a sus API para .NET).

Un saludo
« Última modificación: 21 Octubre 2022, 22:47 pm por Enjuto Mojamuto » En línea

@%$& #$ %&#$, ¡hay que decirlo más!.
Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
Q lenguaje de programacion me recomiendan aprender???? « 1 2 3 »
Foro Libre
zZznewbiezZz 20 13,993 Último mensaje 13 Octubre 2010, 03:57 am
por linux1
Que lenguaje de programacion me recomiendan...
Programación General
pucheto 6 4,563 Último mensaje 21 Diciembre 2010, 07:48 am
por leogtz
Ganar dinero haciendo programas
Foro Libre
Senior++ 2 2,046 Último mensaje 4 Abril 2014, 21:58 pm
por 1mpuls0
Pagina web que se gane dinero haciendo programación
Foro Libre
Senior++ 3 2,160 Último mensaje 11 Julio 2014, 22:10 pm
por elezekiel
Cómo ganar mucho dinero haciendo videos de seis segundos
Noticias
Mister12 0 1,521 Último mensaje 14 Agosto 2014, 17:23 pm
por Mister12
WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines