 Autor
|
Tema: Crear un Scrawler (Leído 1,521 veces)
|
Xavisupercrac
 Desconectado
Mensajes: 2
|
Hola muy buenas,
hace unos meses (antes de las vacaciones) me explicaron en la universidad de forma un poco ambigua el significado y el funcionamiento de un scrawler o araña.
Este profesor nos aconsejó hacer una practicas "extra" sobre el funcionamiento del scrawler.
Nos recomendó hacer un listado de hoteles (ya sea en páginas como Trivago, TripAdvisor, etc), con la dificultad extra de que no debían repetirse los resultados y tenían que scrawlear diferentes tipos de hoteles (diferenciar hoteles con piscina, hoteles con gimnasio, etc)
El objetivo de este ejercicio era encontrar 100 resultados válidos, siguiendo los parámetros de antes.
¿Me podrían ayudar o explicar como se hacen?
|
|
|
|
|
En línea
|
|
|
|
|
engel lex
|
basicamente esto tiene 2 partes
1- la parte investigativa
revisas la pagina y tratas de entender todos los query involucrados en lo que necesitas hacer
2- la progrmacion
tomas un lenguaje de tu gusto y construyes un programa que lea paginas web, el cual debe seguir las rutas que investigaste... al entrar al resultado, salva la informacion y continua con el siguiente, asi hasta que quieras...
luego filtras la informacion segun lo necesites
recomendaciones:
- aprender bien como funciona la web
- usar programacion multihilo
- usar una base de datos para salvar la informacion para que sea mas facil filtrarla (SQL es un leguaje especilizado para dicha tarea)
|
|
|
|
|
En línea
|
El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
|
|
|
Xavisupercrac
Desconectado
Mensajes: 2
|
El problema es que no se programar, estaba buscando un programa que pudiera hacerlo
|
|
|
|
|
En línea
|
|
|
|
|
engel lex
|
el problema es que las paginas no siguen una estructura standard, son programadas como mejor le parece a cada quien...
entonces no va a haber un programa que cubra todos los posibles casos, a demas como le dirías que buscar y las rutas?
por otro lado ya que estas paginas que mencionaste venden es informacion bien organizada, no quieren que los otros roben sus datos, asi que evitarán usar esquemas comunes para dificultar la tarea a quien quiera tomar la informacion
que clase veías que te explican los scrapper pero no como programar? :s
cosa adicional.. primera vez que veo el termino Scrawler... los conozco como arañas, scrapper o crawlers
|
|
|
|
« Última modificación: 24 Agosto 2019, 02:43 am por engel lex »
|
En línea
|
El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
|
|
|
|
| Mensajes similares |
|
Asunto |
Iniciado por |
Respuestas |
Vistas |
Último mensaje |
|
|
|
crear crear menu de cds y intros
Multimedia
|
Gokuman
|
3
|
2,924
|
14 Junio 2005, 14:16 pm
por Songoku
|
|
|
|
Crear Instalacion [Crear enlace ODBC desde Visual]
Programación Visual Basic
|
{_The_Alwar_}
|
2
|
7,110
|
15 Julio 2005, 00:15 am
por {_The_Alwar_}
|
|
|
Crear nueva entrada en menú contextual de CREAR ARCHIVO TXT
« 1 2 3 »
Windows
|
Esgrimidor
|
25
|
20,884
|
30 Junio 2012, 08:26 am
por Eleкtro
|
|
|
|
crear archivo .bat para crear clave HKLM
Hacking
|
kitara94
|
3
|
3,521
|
29 Agosto 2015, 18:14 pm
por kitara94
|
|
|
Crear un bat para crear archivos txt
Scripting
|
kakaroto6
|
7
|
11,556
|
30 Abril 2016, 13:39 pm
por Eleкtro
|
 |
