Web bots y 'toa la pesca', ese tema interesante y desconocido

[papulo]

Buenas gente,

hacía mucho tiempo que no me pasaba por aquí, cual hijo crecidito que abandona el hogar paterno para irse en busca de aventuras y dejar de calentar la cabeza a los progenitores (grandes y pacientes foreros que me ayudaron en mis comienzos).

El caso es que por temas laborales me he topado con los webbots, crawlers y cosillas similates, descubriendo un mundo muy interesante pero a la vez muy abstracto para una sola cabeza pensante.

No me preguntéis por que, pero el primer foro donde se me ha ocurrido meter el hocico ha sido aquí, cuna de cracks y buena gente.

El caso es que me apetece hablar de este tema, compartir ideas (también quebraderos de cabeza) y no se donde ponerlo o por donde empezar.

Bueno, empezar si, estoy leyendo un libro "Webbots, spiders and screen crapers" de Michael Schrenk, una buena guía para comenzar, te da algunas ideas y te muestra el camino, pero como todos los libros, los ejemplos son perfectos y la realidad te da una patada en la entrepierna.

Hasta donde he llegado, un webbot te carga el código de una web dentro de una variable y luego parseas/buscas la información que deseas y haces las operaciones que te apece.

Por dar un ejemplo, un robot te podría rastrear una raza de perros en una serie de perreras que tengan sus perros listados en internet para luego mostrar las coincidencias en el resultado de las perreras de la zona y si el usuario está conforme, darle un nuevo hogar (luego te forras con el adsense de tiendas de perros o te socias con alguna tienda para ello )

A ver quien se anima por aquí.