Replicacion de Base de datos Firebird

[Casimiro Notevi]

Muy interesante lo que me cuentas, aunque, como siempre, cada caso es un mundo .
El caso que cuentas de cadetill y supongo que el tuyo, son muy particulares, por ejemplo el de las farmacias sólo será sincronizar las medicinas que se venden y hacer pedidos de las que necesiten. Las farmacias no llevan (normalmente ) clientes, almacenes, bancos, etc. O sea, que seguramente la replicación es sólo de algunas tablas porque las otras no serán necesarias o tendrán un movimiento mínimo (supongo).
En mi caso es más complejo porque sería actualizar/replicar toda la base de datos... que ahora mismo tiene 263 tablas y además campos blob con imágenes y documentos muy variados. Algunos de nuestros clientes han pasado los 20 Gb y eso por internet... :S
En realidad lo hemos probado con un cluster Heartbeat por internet y era morirse de pena (en red local va bien), pero si pudiésemos limitarnos a sólamente los artículos, clientes y poco más... entonces sí sería una buena opción la replicación que comentas.
En nuestro caso ni los representantes pueden vender con precios "de ayer", necesitan tener el precio y el stok "ahora mismo", como si estuviesen en la central, así que también llevan conexión a la central y trabajan al igual que las sucursales, todos contra el servidor central.
De todas formas, está muy interesante el sistema de replicación que comentas para según que negocios.

[Kipow]

Yo estoy trabajando precisamente en un sistema de replicacion propio como el de gillotmarc solo que de forma directa, evaluare la posibilidad de hacerlo con un ftp de por medio.

[guillotmarc]

Empezado por Kipow

Yo estoy trabajando precisamente en un sistema de replicacion propio como el de gillotmarc solo que de forma directa, evaluare la posibilidad de hacerlo con un ftp de por medio.

Si tienes dudas sobre los Logs que hay que crear, o cualquier otro problema, no dudes en consultar.

Haz alguna prueba, para ve si la conexión directa te puede manejar el volumen de actualizaciones que tiene que hacer la replicación, y si no lo ves claro, utiliza el sistema de FTP puesto que en este sistema lo preparas todo en local, de forma muy rápida, y después solo tienes que hacer una única conexión a Internet, donde subes de golpe ese archivo. Te puedo asegurar de que podrás replicar una gran cantidad de datos de esta forma.

No hay mucha diferencia entre hacerlo en conexión directa o por FTP. Simplemente todos los datos de los que hay que hacer un INSERT o UPDATE en el destino, yo los pongo en un ClientDataset, lo guardo en un archivo, y los comprimo todos juntos en un zip.

El Servidor destino solo tiene que descargarse el zip, descomprimirlo y cada archivo es un ClientDataset, lo cargo en Delphi en un ClientDataset y lo recorro en un bucle, haciendo los correspondientes INSERT/UPDATE.

Saludos.

[Kipow]

Empezado por guillotmarc

Si tienes dudas sobre los Logs que hay que crear, o cualquier otro problema, no dudes en consultar.

Haz alguna prueba, para ve si la conexión directa te puede manejar el volumen de actualizaciones que tiene que hacer la replicación, y si no lo ves claro, utiliza el sistema de FTP puesto que en este sistema lo preparas todo en local, de forma muy rápida, y después solo tienes que hacer una única conexión a Internet, donde subes de golpe ese archivo. Te puedo asegurar de que podrás replicar una gran cantidad de datos de esta forma.

No hay mucha diferencia entre hacerlo en conexión directa o por FTP. Simplemente todos los datos de los que hay que hacer un INSERT o UPDATE en el destino, yo los pongo en un ClientDataset, lo guardo en un archivo, y los comprimo todos juntos en un zip.

El Servidor destino solo tiene que descargarse el zip, descomprimirlo y cada archivo es un ClientDataset, lo cargo en Delphi en un ClientDataset y lo recorro en un bucle, haciendo los correspondientes INSERT/UPDATE.

Saludos.

Gracias por la ayuda.

Ya tengo hecho la parte de los logs. (triggers configurables por el usuario).
Ya tengo tambien el sistema directo, mi replicacion por el momento solamente funciona en 2 vias de las tiendas a la central (por la IP Publica).
Creo que voy a tener que optar por la opcion de FTP porque precisamente una tienda quedo sin internet por 2 meses y esa carga es demasiado para pasarla de forma directa.
Aun tengo que depurar la aplicacion porque me meti a hacerlo con threads y a veces pela cables (actua de forma extraña). consume demasiada memoria, etc.

Precisamente eso es lo que tengo pensado hacer, utilizar clientdataset, y expotarlos a XML, ya que son unicamnte 3 tablas.

Saludos

[Gallosuarez]

Saludos a tod@s l@s foristas:

Hasta ahora, aun no he tenido la necesidad de implementar un sistema donde se requiera replicación... pero creo que en poco tiempo lo voy a tener que hacer. Dándole vueltas a este asunto me salta la siguiente duda: ¿que sucede si tambien quiero replicar mi metadatos?, por lo que entiendo de sus comentarios anteriores las implementaciones que hacen de replicación son solo de datos, ¿es correcta esta aseveración? ¿No se si algunas de las herramientas que mencionan (IB-Replicator, etc), ademas de replicar los datos también lo hacen en los metadatos?

Saludos

Gerardo Suárez Trejo

[Kipow]

Que tal Gallosuarez, te comento yo tuve que realizar una aplicacioncita para mantener actualizada tambien la metadata es bien facil ya que contamos en firebird con el IBScript que te permite ejecutar DDL. en la base de datos. Es algo bien sencillo, basta con llevar una bitacora de los cambios a la metadata y ejecutarla en orden en los otros sitios.

[paty_rlopez]

hola

Quisiera saber si alguno de ustedes me puede ayudar

ya instale el fbreplicator
pero no se como asignar las bases de datos.

si me pudieran ayudar con un ejemplo estaria muy agradecida

[Vlady]

tu que desarrollaste el replicador, como hiciste para manejar los diferentes tipos de datos que tienen las claves primarias en una base de datos.
Qué propiedades del campo de firebird puedo utilizar desde delphi para saber si es tipo varchar o integer, y poder realizar las consultas correctamente.

En qué tablas quedan almacenados las columnas y tipos de datos en firebird?

Agradezco sus comentarios

[Kipow]

Código SQL [-]
select A.RDB$FIELD_NAME AS CAMPO, RDB$FIELD_TYPE AS TIPO_DATO
from RDB$RELATION_FIELDS A inner join RDB$FIELDS B on (A.RDB$FIELD_SOURCE = B.RDB$FIELD_NAME)
where (A.RDB$RELATION_NAME = :tabla)
ORDER BY RDB$FIELD_POSITION

y para la llave primaria

Código SQL [-]
select S.rdb$field_name as CAMPO, (select RDB$FIELD_TYPE
                                  from RDB$RELATION_FIELDS A inner join RDB$FIELDS B on (A.RDB$FIELD_SOURCE = B.RDB$FIELD_NAME)
                                  where (A.RDB$RELATION_NAME = i.rdb$relation_name) and (a.rdb$field_name = s.rdb$field_name)) AS TIPO_DATO

from ((rdb$indices i INNER JOIN rdb$index_segments s ON (i.rdb$unique_flag=1 and i.rdb$relation_name=:tabla and s.rdb$index_name=i.rdb$index_name)) INNER JOIN rdb$relation_constraints A
      ON s.rdb$index_name=a.rdb$index_name and rdb$constraint_type = 'PRIMARY KEY')


ORDER BY RDB$FIELD_POSITION

[Vlady]

compañero, muchas gracias por su ayuda!!

[guillotmarc]

Hola Casimiro.

Empezado por Casimiro Notevi

Muy interesante lo que me cuentas, aunque, como siempre, cada caso es un mundo .
El caso que cuentas de cadetill y supongo que el tuyo, son muy particulares, por ejemplo el de las farmacias sólo será sincronizar las medicinas que se venden y hacer pedidos de las que necesiten. Las farmacias no llevan (normalmente ) clientes, almacenes, bancos, etc. O sea, que seguramente la replicación es sólo de algunas tablas porque las otras no serán necesarias o tendrán un movimiento mínimo (supongo).
En mi caso es más complejo porque sería actualizar/replicar toda la base de datos... que ahora mismo tiene 263 tablas y además campos blob con imágenes y documentos muy variados. Algunos de nuestros clientes han pasado los 20 Gb y eso por internet... :S
En realidad lo hemos probado con un cluster Heartbeat por internet y era morirse de pena (en red local va bien), pero si pudiésemos limitarnos a sólamente los artículos, clientes y poco más... entonces sí sería una buena opción la replicación que comentas.
En nuestro caso ni los representantes pueden vender con precios "de ayer", necesitan tener el precio y el stok "ahora mismo", como si estuviesen en la central, así que también llevan conexión a la central y trabajan al igual que las sucursales, todos contra el servidor central.
De todas formas, está muy interesante el sistema de replicación que comentas para según que negocios.

Es cierto que con un sistema de replicación nunca tienes datos garantizados, no sabes cuan buenos pueden ser. Por eso para montar el sistema que comentas habría que complementarlo con otro sistema.

Es decir, en un caso como el vuestro, yo quizás montaría igualmente el sistema de replicación, pero para los datos críticos, donde se necesite la información exacta en la central (como precios o stock), montaría un WebService, de forma que esos datos se consulten directamente a la central.

Pero el resto se puede replicar perfectamente.

Mi aplicación consta de 131 tablas, que se replican todas, y en el caso del cliente con 15 tiendas, en estos momentos tiene 900Mb de tamaño (no incluye imágenes, documentos, etc. ..., todo es pura información).

Aunque está lejos de los 20Gb., para el caso creo que es lo mismo. Puesto que como te puedes imaginar, tampoco pasamos nunca esos 900Mb por Internet, excepto cuando se corrompe la base de datos en una tienda, o bien cuando se monta una tienda nueva, pero en lugar de replicar todos los datos (lo cual sería lentísimo, puesto que haría INSERTS para todos los registros de la Base de Datos), simplemente les envío una copia de la base de datos del servidor central (previamente configurada para actuar como la tienda destino). Esta es otra ventaja del sistema de replicación, ya no necesitan copias de seguridad, puesto que cada tienda es en si misma una copia de seguridad de los datos del resto de tiendas.

Solo se pasan los datos introducidos o modificados desde la última replicación, el tamaño promedio del archivo de datos que se envía cada 10 minutos es de unos 20kb.

En casos donde una tienda ha estado un mes sin replicar debido a cambios en el ADSL o lo que sea, lo más grande que se suele pasar es un archivo del orden de 1Mb (aquí nos caben perfectamente, comprimidos en un zip, los miles de registros que se han introducido durante ese mes).

Claro que como dices, cada caso es un mundo, así que imagino que habrá casos donde el volumen de información que se introduce a diario puede hacer inviable la replicación, pero la verdad es que no creo que sean muchos (quizás en un sistema donde se almacenan muchos archivos binarios grandes, como imágenes, etc. ...).

Piensa que el clúster que montasteis era síncrono (los datos se pasan en tiempo real, ¿ no ?), por eso no tendría un buen rendimiento en Internet. Pero en un sistema de replicación, donde la actualización es asíncrona, no deberías tener esos problemas. El precio que pagas es que la información no está actualizada en tiempo real, pero eso en la inmensa mayoría de tablas no es ningún problema (en el tiempo que tardas llamando a la otra tienda para comentarles que le echen un vistazo al cliente que acabas de añadir, ya habrán pasado unos minutos, y ya lo tendrán disponible).

Saludos.

[Casimiro Notevi]

Empezado por guillotmarc

[..]Es decir, en un caso como el vuestro, yo quizás montaría igualmente el sistema de replicación, pero para los datos críticos, donde se necesite la información exacta en la central (como precios o stock), montaría un WebService, de forma que esos datos se consulten directamente a la central.[..]

Sí, los usuarios finales (clientes) se conectan de esa forma mediante un servidor web que conecta a la base de datos del servidor central.

Todo lo que comentas me ha hecho pensar en cosas habituales que tenemos que sufrir con los jefes o mandos superiores. De primera hora les sugerí que usáramos una base de datos aparte únicamente para las imágenes y documentos, ya que esto facilitaría mucho el trabajo con la base de datos principal que se vería libre de esa carga, pero "donde hay patrón no manda marinero", así que todo está en la misma base de datos, el resultado es que ahora es un problema en algunos casos, por ejemplo el de la replicación

De todas formas, por lo que comentas, en tu caso no es un sistema de replicación "real", es realmente un sistema de exportación/importación de datos, eso sí es algo que tenemos implementado, aunque no automáticamente, requiere que el usuario lo realice, escoja las tablas y/o registros a exportar, lo envíe por ftp, email, pendrive, cd, etc. y luego en la sucursal importan lo que viene en ese fichero.
También tenemos un sistema como el que comentas que sí se hace automáticamente mendiante ftp, sin intervención del usuario, pero únicamente lo usan los representantes, que además llevan una versión "reducida" del programa.

Aunque por los datos estadísticos que das, voy a sugerir para que al menos se pruebe un sistema de replicación de estos (fbreplicator o ibreplicator), aunque no sean en tiempo real, puede ser que funcione... bueno, funcionará siempre y cuando a la secretaria no se le ocurra escanear las tarjetas de visita a unos 100 megas cada una , que últimamente tiene esa costumbre .

Y si me hicieran caso... también extraería todos los datos de campos blob que no sean de texto y los metía en otra base de datos separada, no es lo mismo una sóla de 20 Gb que tener dos, una de "datos" de 8 Gb y otra de "binarios" de 12 Gb