[[__hector]]

En realidad no entiendo por que utilizar asp.net, pero ya que iniciaste en ese environment....

Prueba con los objetos que te mencioné anteriormente... webrequest y webresponse, para obtener el contenido de una web.

Yo he hecho algo mas o menos parecido a lo que pretendes, una especie de indexador de paginas web con llamadas recursivas (vamos, un pseudobot de internet, aunque no pretendo ser competencia de google), y cuando migre al maravilloso .NET, esas clases me encajaron como anillo al dedo.

Intenta y cuentanos que tal te va....