¿Es legal la automatización Web?

[[Al González]]

¡Hola a todos!

Antes que nada agradezco a David, JXJ, Eliseo y Domingo por sus respuestas.

Empezado por JXJ

... la empresa escalabium y otros
han hecho componentes, para conocer en tiempo real donde anda
el paquete y creo hasta la unidad (camion) de UPS.

Tambien se parece a lo de hacer un software para revisar la paridad
cambiaria y enviarle, a el sitio web, dijamos el de finanzas de yahoo.

CAsi lo miso es al realizar una consulta hacia el google. el yahoo, o el msn
como motores de busqueda.

dicha automatización ???!!! tambien esta en los clientes de terceros,
tipo opensource o free(de no pago), para los clientes oficiales de mensajeria.

Así es. Como ven, este tipo de automatización Web es algo que se utiliza con frecuencia.

Empezado por egostar

... entré a la página de Fedex y vi que entre otras cosas se menciona la parte de automatización.

En la sección 2 de esta página puedes ver lo que dice al respecto...

Interesante:

The use of automated dial-in or inquiry devices to obtain information through fedex.com is strictly prohibited.

[El uso de dispositivos de acceso o indagación automáticos para obtener información a través de fedex.com está estrictamente prohibido.]

Me parece que la cuestión va a radicar ahí, en que quizá no hay ninguna ley explícita al respecto, sino que cada sitio Web puede o no tener una cláusula en su sección Legal con las restricciones que su propietario juzgue convenientes.

Empezado por dec

…lo que me pregunto es por qué, si tu cliente y su proveedor están de acuerdo y lo consideran una cosa buena (un valor añadido) no implementan en su sitio Web algún API o Servicio que permitiera consultar la información que precisas. Ganaría tu cliente, ganaría su proveedor y aún podrías ganar tú algo si te encargarsen dicho trabajo a ti...

Claro David, lo veo de la misma forma, sólo que muchas veces lo ideal para uno carece de factores que sólo son tangibles por quienes toman las decisiones. En el caso planteado no hay vuelta atrás. Cabe aclarar de nueva cuenta que la preocupación de la cual brota este hilo concierne a un caso distinto, el de un colega que me expresó su idea de crear una herramienta de similar funcionamiento.

Empezado por dec

…Piensa que las páginas Web sufren cambios, y lo que hoy puedes acceder por medio la variable X mañana no podrás hacerlo de la misma forma, porque habrán podido cambiar dicha variable por otra Y. Naturalmente, al llevar a cabo algún programa o página Web o Servicio para consultar la información en la forma que os interesa, los cambios habrían de ser tenidos en cuenta, de manera que los desarrolladores (como tú) pudieran tener más o menos seguridad de que su aplicación va a funcionar.

Desde luego, lo tengo considerado desde el comienzo.

Por aquí seguimos.

Un abrazo legal.

Al González.

[mamcx]

El temor #1 es que automatizar un sitio puede destrozarlo en pocos segundos, si se hace bajo la filosofia normal (hacer el programa lo *mas* rapido posible).

Lo que estas haciendo es un webcrawler / screen scraping. No hay nada extraño alli, pero es importante que conozcas las buenas costumbres que deben seguir quienes hacemos de esto:

http://www.searchtools.com/robots/robot-checklist.html

He hecho unos cuantos programas de estos (o usado) y mientras mantengas las normas de cortesia y mantengas los gastos de recuersos a un nivel aceptable, todo bien.

Por ejemplo, para un trabajo reciente monte mi crawler en un servidor VPS y lo deje corriendo por dias. DIAS. El codigo pudo barrer con el sitio en unos 70 minutos pero la verdad? Es innecesario.

Por otro lado, si esta seriamente pensando en hacer un crawler generico date varias bofetadas en la cara y mirate todas las peliculas de terror que puedas haber si escarmentas Es un asunto muy serio y, mejor dicho, muy complicado (pero no necesariamente muy demorado, algo complicado se puede resolver rapido).... empezando por el hecho que la mayoria de los sitios se hacen con desconocimiento de los estandares a todo nivel (html, http, dns, y sentido comun) y que la mayoria de los sitios presumen que seran vistos por un humano y no por una maquina, lo que conlleva a varias "sorpresas" que reversan los conceptos que uno suponen aplicarian a este tipo de software.

Entre otros, seria muy buena idea mezclar un crawler con un saneador html y otra serie de programas de ayuda...

Este libro me parecio excelente:

http://www.amazon.com/Mining-Web-Hyp.../dp/1558607544

Y seria bueno que leyeras bastante antes de entrarle serio.

[[AzidRain]]

No hay ninguna legislación al respecto, ni a nivel mundial ni a nivel de los paises. Cuando algún contenido se coloca en un sitio web, en automático se convierte en público (manteniendo los copyrights por supuesto) y puede ser consultada por quien sea y de la forma que mejor le convenga.

Lo que tu quieres hacer es como ya te dijeron un crawler, robot o araña, como muchos que ahi por ahi (el mismo google usa uno para consultar las paginas y armar indices) y es totalmente legal mientras no hagas uso indebido de la información que obtengas. Por otro lado, el catálogo en cuestion, supongo que no está a disposición del público sino solo a distribuidores o algo así por medio de una clave que se le da. De manera que sigue siendo perfectamente legal hacerlo así más aun cuando se tiene el permiso de consultar la información por medio de la llave.

Lo que si puede pasar es que el dueño del sitio web decida que no quiere permitir este tipo de accesos y: 1.-cancele la clave de tu cliente 2.- instale alguna forma de protección para evitar que los datos se obtengan de otra forma que no sea mediante un browser.

Claro que como dicen tambien en otros mensajes, tampoco se vale abusar y por ejemplo crear una aplicación que se la pase "dandole trabajo" al servidor haciendo miles de consultas innecesarias pues podría bloquearlo o de plano tirarlo. Algunas empresas de hosting imponen restricciones de tráfico a los sitios de sus clientes por lo que podrías fácilmente exceder el tráfico de un mes en unas horas y dejar fuera de línea el sitio en cuestion hasta que termine el mes y se reinicie el contador.