Sobre Automatización y WebBots (Spiders)

[dec]

Hola,

Para saber si una página web enlaza con otra, personalmente, no se me ocurre sino averiguar si dicha página web contiene una determinada URL. Es decir, se trata de obtener la página web (su código HTML) y utilizar una "simple" función que busque la URL que nos interesa. Si existe la URL, la página nos está enlazando. Si no exista la URL, consideramos que la página no nos enlaza. Todo esto acaso se complique un poco, puesto que habría que saber, para empezar, qué página del sitio web hemos de revisar. ¿La portada? ¿Quizá alguna otra página "interior"? ¿Todas las páginas del sitio? El asunto puede complicarse...

Ahora bien, sobre cómo automatizar todo este asunto, lo cierto es que no he tenido la oportunidad de trabajar con "CRON" o algo similar en un servidor, una especie de "sistema" que permita la ejecución de ciertas tareas cada determinado tiempo. Si obviamos este asunto, lo que es seguro es que podrías preparar un "script" que hiciera lo dicho en el primer párrafo no ya con un sitio web, sino con los que fuera menester. Tal vez, digo, pueda omitir el uso algo como "CRON", puesto que uno mismo podría encargarse de ejecutar el "script" en cuestión una vez a la semana, por ejemplo.

En definitiva, yo investigaría más acerca de "CRON", de si es posible usarlo en tu servidor, o si se cuenta con algo parecido. Luego, a la hora de llevar a cabo el "script" que compruebe lo de los enlaces en los sitios web... creo que podríamos echarte una mano: sería cuestión de que te pusieras a ello, y de que se acotasen un poco más las especificaciones. Está claro que no debe ser lo mismo preparar un "script" que revise un par de sitios web en busca de ciertas URLs, que programar un "robot" como el que use Google o sitios así... eso ya es harina de otro costal, como suele decirse.