elhacker.net cabecera Bienvenido(a), Visitante. Por favor Ingresar o Registrarse
¿Perdiste tu email de activación?.

 

 


Tema destacado: Guía actualizada para evitar que un ransomware ataque tu empresa


+  Foro de elhacker.net
|-+  Programación
| |-+  Programación General
| | |-+  .NET (C#, VB.NET, ASP) (Moderador: kub0x)
| | | |-+  Alguien me recomienda alguna libreria para un scraper web?
0 Usuarios y 1 Visitante están viendo este tema.
Páginas: [1] Ir Abajo Respuesta Imprimir
Autor Tema: Alguien me recomienda alguna libreria para un scraper web?  (Leído 2,239 veces)
raytex

Desconectado Desconectado

Mensajes: 6


Ver Perfil
Alguien me recomienda alguna libreria para un scraper web?
« en: 23 Agosto 2015, 18:13 pm »

Alguien me podría recomendar alguna librería de C# para realizar  un scraper web que se logge en una pagina y saque información.

Mod: tema movido, esto no es C/C++ es .net


« Última modificación: 23 Agosto 2015, 18:22 pm por engel lex » En línea

Eleкtro
Ex-Staff
*
Desconectado Desconectado

Mensajes: 9.885



Ver Perfil
Re: Alguien me recomienda alguna libreria para un scraper web?
« Respuesta #1 en: 24 Agosto 2015, 10:31 am »

Para el web-scrapping, lee lo siguiente:

Cita de: Elektro
¿recorres el DOM y obtienes valores de ciertas etiquetas?

Practiamente en eso consiste el web-crawling, en parsear los documentos Html para obtener información específica.

Hay varios modos de hacerlo, la más ordinaria es utilizando las funciones built-in de .net para partir un string (String.Split) y filtrarla mediante substracciones (String.Substring, String.IndexOf, String.LastInfexOf, etc...),
otra manera sería utilizando expresiones regulares (RegEx),
y otra manera sería utilizando ciertas librerías (HtmlagilityPack en caso de .Net) para representar el árbol del documento Html orientado a objetos,
entre alguna que otra metodología más que habrá.

Dices que estás interesado en ello, pues aquí puedes ver un pequeño ejemplo con el que puedes empezar:
http://foro.elhacker.net/net/leer_datos_de_una_tabla_html-t436957.0.html

Y aquí tienes el source que compartí de un web-spider que recolecta los enlaces de una página de música en particular:
[SOURCE] Plixid Leecher - By Elektro

También existe una librería especializada en el web-scrapping para .Net, se llama aBot, aunque nunca la llegué a probar en profundidad:
https://github.com/sjdirect/abot
    (también la puedes descargar por la consola de NuGet)

EDITO: Aparte de algunas Classes de .Net Framework que puedes utilizar para el parseo de Html o Xml, cómo HtmlElement o Xelement

Saludos


En línea



Páginas: [1] Ir Arriba Respuesta Imprimir 

Ir a:  

WAP2 - Aviso Legal - Powered by SMF 1.1.21 | SMF © 2006-2008, Simple Machines