Para el web-scrapping, lee lo siguiente:
¿recorres el DOM y obtienes valores de ciertas etiquetas?
Practiamente en eso consiste el web-crawling, en parsear los documentos Html para obtener información específica.
Hay varios modos de hacerlo, la más ordinaria es utilizando las funciones built-in de .net para partir un string (String.Split) y filtrarla mediante substracciones (String.Substring, String.IndexOf, String.LastInfexOf, etc...),
otra manera sería utilizando expresiones regulares (RegEx),
y otra manera sería utilizando ciertas librerías (
HtmlagilityPack en caso de .Net) para representar el árbol del documento Html orientado a objetos,
entre alguna que otra metodología más que habrá.
Dices que estás interesado en ello, pues aquí puedes ver un pequeño ejemplo con el que puedes empezar:
➢
http://foro.elhacker.net/net/leer_datos_de_una_tabla_html-t436957.0.htmlY aquí tienes el source que compartí de un web-spider que recolecta los enlaces de una página de música en particular:
➢
[SOURCE] Plixid Leecher - By ElektroTambién existe una librería especializada en el web-scrapping para .Net, se llama
aBot, aunque nunca la llegué a probar en profundidad:
➢
https://github.com/sjdirect/abot (también la puedes descargar por la consola de
NuGet)
EDITO: Aparte de algunas Classes de .Net Framework que puedes utilizar para el parseo de Html o Xml, cómo HtmlElement o Xelement
Saludos