 Autor
|
Tema: Qué lenguaje me conviene para trabajar con datos de un sitio web? (Leído 4,839 veces)
|
The Swash
 Desconectado
Mensajes: 194
Programmer
|
Buenas, Tengo un proyecto donde necesito obtener información de un sitio web que no provee un API, por ende necesito obtener la información mediante peticiones y parsear los datos constantemente. El sitio básicamente es un mercado en línea, básicamente la interacción sería algo así: App: Web dame los items en venta según X criterios. Web: item1, item2, ..., itemN App: selecciona los que le convienen, pujar por X items. Si se dan cuenta la aplicación estará constantemente haciendo cosas similares a lo anterior y necesito un lenguaje que cumpla con lo siguiente: - Buen manejo de concurrencia
- Buen manejo de datos
- Soporte de librerías para web requests
- Tiempo moderado de aprendizaje y desarrollo
- De preferencia un lenguaje moderno
Me gustaría un lenguaje como Scala, Go o D, pero me gustaría enfatizar en que cada milisegundo es realmente importante para mi aplicación y en lo posible necesito las sugerencias respecto al lenguaje que más me convenga. Gracias.
|
|
|
|
|
En línea
|
|
|
|
|
engel lex
|
Buen manejo de concurrencia
Buen manejo de datos
Soporte de librerías para web requests
Tiempo moderado de aprendizaje y desarrollo
De preferencia un lenguaje moderno acabaste de describir el 80% de los lenguajes -por simplicidad te recomiendo python, tiene librerias muy buenas para web (mechanize, urlib, entre otras) y es muy simple -por potencia te recomiendo c++, puede que sea un rustico con el tratamiento de strings, pero una vez haces lo que necesitas para analizar las strings, es sumamente potente y puedes facilmente hacerlo multihilo (se llaman threads, podrías lanzar varias revisiones simultaneas sin esperar a otra por terminar) a demás a pesar de nacer en los 80's, es uno de los lenguajes más usados hoy dia por su potencia (no necesariamente un lenguaje porque sea viejo es malo... en este caso es un cuchillo que hemos afilado durante más de 30 años) -por practicidad te recomiendo javascript, a pesar de ser un lenguaje de navegador, su naturaleza de funcionamiento es orientada a web, así que es uno de los más simples para ello, a punta de peticiones ajax puedes hacer maravillas... si quieres usarlo fuera del navegador tienes nodejs que es un lenguaje interpretado aún más potente y basado en javascript
|
|
|
|
« Última modificación: 20 Marzo 2016, 15:48 pm por engel lex »
|
En línea
|
El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
|
|
|
|
#!drvy
|
-por practicidad te recomiendo javascript, a pesar de ser un lenguaje de navegador, su naturaleza de funcionamiento es orientada a web, así que es uno de los más simples para ello, a punta de peticiones ajax puedes hacer maravillas... si quieres usarlo fuera del navegador tienes nodejs que es un lenguaje interpretado aún más potente y basado en javascript Aclaro: NodeJS es javascript. Node es simplemente un motor basado en el motor javascript de Chrome, que interpreta JS a nivel servidor. Saludos
|
|
|
|
|
En línea
|
|
|
|
|
engel lex
|
Aclaro: NodeJS es javascript. Node es simplemente un motor basado en el motor javascript de Chrome, que interpreta JS a nivel servidor.
Saludos
gracias por la aclaración! pensé que era basado 
|
|
|
|
|
En línea
|
El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
|
|
|
manute_powa
Desconectado
Mensajes: 87
|
Buenas,
Echale un vistazo a CasperJS (PhamtomJS), es una pasada y puedes sacar datos de una web sin tener API ni nada. Que me corrijan si me equivoco, ya que no lo he usado mucho, pero puedes hacer Scraping Web y recopilar información.
Un saludo
|
|
|
|
|
En línea
|
|
|
|
The Swash
Desconectado
Mensajes: 194
Programmer
|
Muchas gracias a todos por responder, es cierto que la mayoría de los lenguajes ofrecen eso, la mayoría claro hablamos de lenguajes interpretados o semicompilados. Al parecer me tocará tomar decisiones en base a lo que desee sacrificar, tiempo por rendimiento o viceversa, aunque realmente quería aprovechar para hacer este proyecto en un lenguaje nuevo y moderno como Go, Scala, o D.
Muchas gracias a todos por sus sugerencias y sigo abierto a ellas.
|
|
|
|
|
En línea
|
|
|
|
[u]nsigned
Desconectado
Mensajes: 2.397
JS/Node developer
|
Si el sitio no ofrece API vas a atener que hacer Data Mining. Yo para esot simepre uso SimpleHtmlDom para PHP. http://simplehtmldom.sourceforge.net/Pero en todo caso te recomiendo que uses el lenguaje que mejor manejas, busca como hacer data mining en ese lenguaje y listo. |
|
|
|
|
En línea
|
No hay atajo ante la duda, el misterio se hace aquí... Se hace carne en cada uno, el misterio es existir!  |
|
|
|
| Mensajes similares |
|
Asunto |
Iniciado por |
Respuestas |
Vistas |
Último mensaje |
|
|
|
Programar sitio para trabajar con URL sin el tipoco ?id=X
« 1 2 »
PHP
|
Diabliyo
|
14
|
8,917
|
31 Enero 2011, 10:41 am
por Lunfardo
|
|
|
|
Que lenguaje me conviene mas aprender C, C++ o haskell?
Programación General
|
zantgo
|
2
|
4,678
|
25 Marzo 2012, 04:31 am
por Runex
|
|
|
|
¿Que me conviene aprender para trabajar como freelancer?
Programación General
|
Red Skull
|
3
|
2,657
|
5 Enero 2017, 16:50 pm
por #!drvy
|
|
|
|
Plantilla para trabajar con archivos en lenguaje C.
« 1 2 »
Programación C/C++
|
NOB2014
|
10
|
5,166
|
29 Abril 2017, 18:14 pm
por NOB2014
|
|
|
|
Que lenguaje conviene para programar pseudo IA de juegos?
Programación General
|
T3TR@TR35
|
3
|
3,243
|
27 Julio 2018, 21:59 pm
por e
|
 |
