Buenos días a todos, estoy intentando hacer un ejercicio de hacer web scraping solamente de selección de contenidos por criterios para una web de búsqueda de trabajo. El problema que tengo son los siguientes:
- Esta web proporciona un web service pero no está activo u operativo
- La web necesita usuario y contraseña para poder intentar acceder a ella y poder realizar las búsquedas, ya que en caso de querer acceder a detalles de las mismas no podría.
- He probado con elmicroframework scrapy y no he tenido buen resultado por tener que acceder a contenido ajax o javascript a la hora de hacer login.
Alguien tiene alguna idea o alternativa en python3 para poder realizar este tipo de operaciones.
Saludos y gracias.

basicamente cualquier lenguaje, hasta he visto cosas absurdas hechas en bash... sin embargo pocas opciones tan eficientes...


si no es accesible, no hay a donde correr


has login por medio de tu codigo y almacena las cookies


nunca he usado scrappy (siempre he trabajado esto a mano, con una libreria para leer web como requests) pero ajax no debería presentar ninguna limitacion