Como monitorear cambios en un sitio web externo

[JoAnCa]

Hola a todos
Pues necesito saber como puedo recibir una alerta cuando un sitio web tenga cambios

El objetivo es recibir una alerta cuando una tienda virtual oferte nuevos productos, y de ser posible subir el producto al carrito de compras

El problema esta dado porque los productos se agotan muy rápido, y a veces la pagina se congestiona y no me da tiempo subir el producto al carrito, y a veces ni puedo ver las ofertas.

Para acceder a la pagina de compras hay que autenticarse con un usuario registrado, usuario, contraseña y captcha

He visto algunas herramientas en la web, pero no me sirven, pues algunas notifican por email (lo necesito en tiempo real al momento), y otras revisan cada 5 minutos o mas (necesito que se mas frecuente)

Alguna idea de como hacerlo?

[Casimiro Noteví]

¿Y esa web externa es tuya y puedes hacer cambios allí?

[JoAnCa]

Originally Posted by Casimiro Notevi

¿Y esa web externa es tuya y puedes hacer cambios allí?

No, no es mía. Es una tienda virtual de una empresa que se dedica a la venta de productos de aseo y alimentos.


Hacer web scraping no siempre es ilegal, incluso google lo hace.
Y con el objetivo que yo lo quiero hacer no afecta en nada a la tienda virtual, pues solo estaré revisando si hay un nuevo producto y comprarlo

[Casimiro Noteví]

Lo pregunto por si puedes acceder al software de la web y que te envíe la información que quieres.
¿Has comprobado si tienen alguna opción de avisos a los usuarios?

[JoAnCa]

Originally Posted by Casimiro Notevi

Lo pregunto por si puedes acceder al software de la web y que te envíe la información que quieres.
¿Has comprobado si tienen alguna opción de avisos a los usuarios?

Pues no tiene ninguna opción de aviso, ni tampoco ninguna API para conectar mi aplicación



Asi que la unica opcion que veo, es conectarse y verificar la informacion

[Neftali [Germán.Estévez]]

Originally Posted by JoAnCa

Pues no tiene ninguna opción de aviso, ni tampoco ninguna API para conectar mi aplicación

Si no tiene API ni nada que se le parezca para poder interrogarla, tendrás que acceder y parsear los datos que necesites.

Hace poco hablamos de algo parecido aquí.
Tal vez las soluciones que se proponen te puedan dar alguina idea.

[Ñuño Martínez]

¿Has mirado a ver si tiene fuente RSS? Y si no la tiene, pues pide que la pongan, que tampoco cuesta nada.

[JoAnCa]

Originally Posted by Neftali [Germán.Estévez]

Si no tiene API ni nada que se le parezca para poder interrogarla, tendrás que acceder y parsear los datos que necesites.

Hace poco hablamos de algo parecido aquí.
Tal vez las soluciones que se proponen te puedan dar alguina idea.

Pues esa será la solución, parsear la pagina y localizar la zona que me interesa para leer la información, por ejemplo:
Localizo el <div> donde se ponen los productos, verifico su contenido y si cambió, genero la alerta


Pero el problema está en que no se como hacerlo con delphi



Ñuño, no tiene RSS, y no se si quieran ponerla, de todas formas los contactare para ver que pasa, nada se pierde con probar.

[Neftali [Germán.Estévez]]

Originally Posted by JoAnCa

Localizo el <div> donde se ponen los productos, verifico su contenido y si cambió, genero la alerta

Busca por los foros.
Seguramente con las Indy y con TRestClient puedas obtener el código de la página.

[JoAnCa]

Originally Posted by Neftali [Germán.Estévez]

Busca por los foros.
Seguramente con las Indy y con TRestClient puedas obtener el código de la página.

Muchas gracias por la ayuda, estudiare las Indy a ver si me sirven


PD:

O quizás mejor lo haga con python, que vi que tiene librerias especificas para web scraping

[Ñuño Martínez]

Otra cosa: El protocolo HTTP incluye la un campo que indica la fecha de cambio del documento. Ahora no recuerdo si es posible que se pueda solicitar sólo dicha fecha. Lo digo porque quizá puedas aprovecharlo.

[Casimiro Noteví]

Parece que no:
https://es.wikipedia.org/wiki/Anexo:Cabeceras_HTTP

[Ñuño Martínez]

Leñe, pues apostaría a que en algún sitio he visto una fecha de caducidad o validez o algo así. Me habré equivocado de protocolo o a saber qué he mezclado...

[Casimiro Noteví]

¿Serán las cookies?

[Ñuño Martínez]

Pues ríete, pero va a ser eso seguro, de alguna vez que estuve revisando algo, y me quedé con que era algo del HTTP. Ains...