elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Guía actualizada para evitar que un ransomware ataque tu empresa


+  Foro de elhacker.net
|-+  Programación
| |-+  Programación General
| | |-+  Qué lenguaje me conviene para trabajar con datos de un sitio web?
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: Qué lenguaje me conviene para trabajar con datos de un sitio web?  (Leído 2,886 veces)
The Swash

Desconectado Desconectado

Mensajes: 194


Programmer


Ver Perfil WWW
Qué lenguaje me conviene para trabajar con datos de un sitio web?
« en: 20 Marzo 2016, 15:30 pm »

Buenas,

Tengo un proyecto donde necesito obtener información de un sitio web que no provee un API, por ende necesito obtener la información mediante peticiones y parsear los datos constantemente.

El sitio básicamente es un mercado en línea, básicamente la interacción sería algo así: App: Web dame los items en venta según X criterios.
Web: item1, item2, ..., itemN
App: selecciona los que le convienen, pujar por X items.

Si se dan cuenta la aplicación estará constantemente haciendo cosas similares a lo anterior y necesito un lenguaje que cumpla con lo siguiente:

  • Buen manejo de concurrencia
  • Buen manejo de datos
  • Soporte de librerías para web requests
  • Tiempo moderado de aprendizaje y desarrollo
  • De preferencia un lenguaje moderno


Me gustaría un lenguaje como Scala, Go o D, pero me gustaría enfatizar en que cada milisegundo es realmente importante para mi aplicación y en lo posible necesito las sugerencias respecto al lenguaje que más me convenga.

Gracias.


En línea

engel lex
Moderador Global
***
Desconectado Desconectado

Mensajes: 15.416



Ver Perfil
Re: Qué lenguaje me conviene para trabajar con datos de un sitio web?
« Respuesta #1 en: 20 Marzo 2016, 15:46 pm »

Citar
   Buen manejo de concurrencia
    Buen manejo de datos
    Soporte de librerías para web requests
    Tiempo moderado de aprendizaje y desarrollo
    De preferencia un lenguaje moderno

acabaste de describir el 80% de los lenguajes

-por simplicidad te recomiendo python, tiene librerias muy buenas para web (mechanize, urlib, entre otras) y es muy simple
-por potencia te recomiendo c++, puede que sea un rustico con el tratamiento de strings, pero una vez haces lo que necesitas para analizar las strings, es sumamente potente y puedes facilmente hacerlo multihilo (se llaman threads, podrías lanzar varias revisiones simultaneas sin esperar a otra por terminar) a demás a pesar de nacer en los 80's, es uno de los lenguajes más usados hoy dia por su potencia (no necesariamente un lenguaje porque sea viejo es malo... en este caso es un cuchillo que hemos afilado durante más de 30 años)
-por practicidad te recomiendo javascript, a pesar de ser un lenguaje de navegador, su naturaleza de funcionamiento es orientada a web, así que es uno de los más simples para ello, a punta de peticiones ajax puedes hacer maravillas... si quieres usarlo fuera del navegador tienes nodejs que es un lenguaje interpretado aún más potente y basado en javascript


« Última modificación: 20 Marzo 2016, 15:48 pm por engel lex » En línea

El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
#!drvy


Desconectado Desconectado

Mensajes: 5.680



Ver Perfil WWW
Re: Qué lenguaje me conviene para trabajar con datos de un sitio web?
« Respuesta #2 en: 20 Marzo 2016, 19:58 pm »

Citar
-por practicidad te recomiendo javascript, a pesar de ser un lenguaje de navegador, su naturaleza de funcionamiento es orientada a web, así que es uno de los más simples para ello, a punta de peticiones ajax puedes hacer maravillas... si quieres usarlo fuera del navegador tienes nodejs que es un lenguaje interpretado aún más potente y basado en javascript

Aclaro: NodeJS es javascript. Node es simplemente un motor basado en el motor javascript de Chrome, que interpreta JS a nivel servidor.

Saludos
En línea

engel lex
Moderador Global
***
Desconectado Desconectado

Mensajes: 15.416



Ver Perfil
Re: Qué lenguaje me conviene para trabajar con datos de un sitio web?
« Respuesta #3 en: 20 Marzo 2016, 23:46 pm »

Aclaro: NodeJS es javascript. Node es simplemente un motor basado en el motor javascript de Chrome, que interpreta JS a nivel servidor.

Saludos

gracias por la aclaración! pensé que era basado  :-X
En línea

El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
manute_powa

Desconectado Desconectado

Mensajes: 87


Ver Perfil
Re: Qué lenguaje me conviene para trabajar con datos de un sitio web?
« Respuesta #4 en: 20 Marzo 2016, 23:57 pm »

Buenas,

Echale un vistazo a CasperJS (PhamtomJS), es una pasada y puedes sacar datos de una web sin tener API ni nada. Que me corrijan si me equivoco, ya que no lo he usado mucho, pero puedes hacer Scraping Web y recopilar información.

Un saludo
En línea

The Swash

Desconectado Desconectado

Mensajes: 194


Programmer


Ver Perfil WWW
Re: Qué lenguaje me conviene para trabajar con datos de un sitio web?
« Respuesta #5 en: 21 Marzo 2016, 03:24 am »

Muchas gracias a todos por responder, es cierto que la mayoría de los lenguajes ofrecen eso, la mayoría claro hablamos de lenguajes interpretados o semicompilados. Al parecer me tocará tomar decisiones en base a lo que desee sacrificar, tiempo por rendimiento o viceversa, aunque realmente quería aprovechar para hacer este proyecto en un lenguaje nuevo y moderno como Go, Scala, o D.

Muchas gracias a todos por sus sugerencias y sigo abierto a ellas.
En línea

[u]nsigned


Desconectado Desconectado

Mensajes: 2.376

Vue SSr


Ver Perfil WWW
Re: Qué lenguaje me conviene para trabajar con datos de un sitio web?
« Respuesta #6 en: 14 Abril 2016, 18:16 pm »

Si el sitio no ofrece API vas a atener que hacer Data Mining. Yo para esot simepre uso SimpleHtmlDom para PHP.

http://simplehtmldom.sourceforge.net/

Pero en todo caso te recomiendo que uses el lenguaje que mejor manejas, busca como hacer data mining en ese lenguaje y listo.
En línea

No hay atajo ante la duda, el misterio se hace aquí...
Se hace carne en cada uno, el misterio es existir!
Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
Programar sitio para trabajar con URL sin el tipoco ?id=X « 1 2 »
PHP
Diabliyo 14 6,611 Último mensaje 31 Enero 2011, 10:41 am
por Lunfardo
Que lenguaje me conviene mas aprender C, C++ o haskell?
Programación General
zantgo 2 3,232 Último mensaje 25 Marzo 2012, 04:31 am
por Runex
¿Que me conviene aprender para trabajar como freelancer?
Programación General
Red Skull 3 1,047 Último mensaje 5 Enero 2017, 16:50 pm
por #!drvy
Plantilla para trabajar con archivos en lenguaje C. « 1 2 »
Programación C/C++
NOB2014 10 2,686 Último mensaje 29 Abril 2017, 18:14 pm
por NOB2014
Que lenguaje conviene para programar pseudo IA de juegos?
Programación General
T3TR@TR35 3 860 Último mensaje 27 Julio 2018, 21:59 pm
por e
WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines