elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.


 


Tema destacado: Análisis del vídeo del hackeo al Sindicato de los Mossos de Esquadra


+  Foro de elhacker.net
|-+  Programación
| |-+  Scripting
| | |-+  [Python3] Creación de web scraping para Infojobs
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: [Python3] Creación de web scraping para Infojobs  (Leído 825 veces)
calcena

Desconectado Desconectado

Mensajes: 2


Ver Perfil
[Python3] Creación de web scraping para Infojobs
« en: 2 Febrero 2020, 10:24 »

Buenos días a todos, estoy intentando hacer un ejercicio de hacer web scraping solamente de selección de contenidos por criterios para una web de búsqueda de trabajo. El problema que tengo son los siguientes:
- Esta web proporciona un web service pero no está activo u operativo
- La web necesita usuario y contraseña para poder intentar acceder a ella y poder realizar las búsquedas, ya que en caso de querer acceder a detalles de las mismas no podría.
- He probado con elmicroframework scrapy y no he tenido buen resultado por tener que acceder a contenido ajax o javascript a la hora de hacer login.
Alguien tiene alguna idea o alternativa en python3 para poder realizar este tipo de operaciones.
Saludos y gracias.


En línea

@XSStringManolo
Colaborador
***
Desconectado Desconectado

Mensajes: 2.084


Turn off the red ligth


Ver Perfil WWW
Re: [Python3] Creación de web scraping para Infojobs
« Respuesta #1 en: 2 Febrero 2020, 13:41 »

Se usan mucho libs de jquery para scraping para seleccionar elementos de la página.
https://www.pythoniza.me/pyquery-web-scrapping-al-estilo-jquery/

Yo personalmente uso navegadores programados en el lenguaje de turno para poder saltarme las limitaciones/protecciones de las páginas. Hay una extensión para Mozilla Firefox muy buena para automatizarlo. https://imacros.net/browser/fx/welcome/


« Última modificación: 2 Febrero 2020, 13:47 por @?0!,5^34 » En línea

engel lex
CoAdmin
***
Desconectado Desconectado

Mensajes: 15.347



Ver Perfil
Re: [Python3] Creación de web scraping para Infojobs
« Respuesta #2 en: 2 Febrero 2020, 13:43 »

Citar
Alguien tiene alguna idea o alternativa en python3 para poder realizar este tipo de operaciones

basicamente cualquier lenguaje, hasta he visto cosas absurdas hechas en bash... sin embargo pocas opciones tan eficientes...

Citar
Esta web proporciona un web service pero no está activo u operativo

si no es accesible, no hay a donde correr

Citar
La web necesita usuario y contraseña para poder intentar acceder a ella y poder realizar las búsquedas, ya que en caso de querer acceder a detalles de las mismas no podría.

has login por medio de tu codigo y almacena las cookies

Citar
He probado con elmicroframework scrapy y no he tenido buen resultado por tener que acceder a contenido ajax o javascript a la hora de hacer login

nunca he usado scrappy (siempre he trabajado esto a mano, con una libreria para leer web como requests) pero ajax no debería presentar ninguna limitacion

En línea

El problema con la sociedad actualmente radica en que todos creen que tienen el derecho de tener una opinión, y que esa opinión sea validada por todos, cuando lo correcto es que todos tengan derecho a una opinión, siempre y cuando esa opinión pueda ser ignorada, cuestionada, e incluso ser sujeta a burla, particularmente cuando no tiene sentido alguno.
Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

Mensajes similares
Asunto Iniciado por Respuestas Vistas Último mensaje
Ni Facebook, ni LinkedIn, ni Infojobs, para buscar empleo nace ‘jobandtalent’
Noticias
wolfbcn 0 1,281 Último mensaje 23 Junio 2010, 14:40
por wolfbcn
Bot para browser game ¿Scraping indetectable?
Desarrollo Web
Littl3 9 3,761 Último mensaje 21 Julio 2020, 13:09
por alvaca
Bot para browser game ¿Scraping indetectable?
Desarrollo Web
alvaca 6 589 Último mensaje 25 Septiembre 2018, 18:08
por alvaca
Alguien para pair programming en python3?
Scripting
JVBS 0 217 Último mensaje 22 Marzo 2019, 06:16
por JVBS
librerías de cifrado para python3
Criptografía
clay2332xd 8 455 Último mensaje 23 Diciembre 2019, 06:36
por engel lex
Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines