Automatización Web (HTTP sin navegador)

[[Al González]]

¡Hola a todos!

Quisiera saber si alguno de ustedes ha programado algo de automatización Web y qué me aconsejaría para poder implementar ésta en una aplicación Delphi 7 Win32.

Quiero automatizar la operatividad de una página Web, hacer un pequeño robot que:

1. Acceda a la página.
2. Ingrese la clave de usuario y contraseña requeridas.
3. Ingrese a determinada sección del sitio Web.
4. Envíe al servidor Web el valor de determinados datos que la página solicita (método Post o Get del protocolo HTTP).
5. Reciba del servidor Web la página o datos resultantes de la consulta.
6. Extraiga (análisis sintáctico —parse— sobre el stream HTML recibido) los datos relevantes de la consulta (para después almacenarlos en una base de datos).
7. Repita sucesivamente los pasos 4, 5 y 6 para consultar más información en base a otros valores de entrada (ciclo automático de consulta).

Todo esto sin la necesidad de desplegar la página, es decir, sin utilizar un navegador ni intervención alguna del usuario. Mi aplicación Delphi teniendo comunicación HTTP con el servidor Web de la página.

He visto que hay algunos componentes Delphi que permiten implementar soluciones como la que planteo, incluso he leído que algunos tienen la capacidad de hacer el envío de datos al servidor Web tanto por el método Post como por el método Get, pero me gustaría partir de la experiencia y recomendaciones que amablemente me hagan al respecto.

De antemano muchas gracias.

Un abrazo sin protocolo.

Al González.