Acelerar inserciones masivas en Firebird

[RolphyReyes]

Saludos.

Ya entiendo la idea, lo que estas haciendo es un "replicador" de datos.

Se me ocurre dos cosas:

1.- Utilizar los métodos que te había mencionado Batchxxx.
2.- Si es una copia tal cual de como esta la BD del Servidor, entonces sería mejor si haces un Backup de la BD y luego un Restore en la PC local.

Otra cosa podría ser que consigas un programa como IBReplicator o similares, que ya están hechos y probados.

[RaulChemical]

El problema es que la base de datos del servidor no es Firebird, es MySQL.

Mi replicador lo que hace es pasar los datos de un lado al otro haciendo insert's.

Voy a probar lo de los Batchxxx.

Muchas gracias.

[jhonny]

Pregunto por curiosidad, ¿De que manera generas las sentencias "inserts" que traes de la base de datos "origen"?, o mejor... ¿Cual es el mecanismo que usas para ello?

[RaulChemical]

Tengo un xml donde tengo las tablas a sincronizar, los campos de cada tabla, con su nombre en firebird y su nombre en mysql y el tipo de dato (varchar, integer, timestamp).

Recorro mi lista de tablas. Por cada tabla hago una select de los campos que tiene en el xml y genero la insert con los campos que me trae el xml.

[jhonny]

Otra solución es que tal vez, te enfoques en optimizar el momento en que creas las sentencias Inserts. Seguramente optimizando la manera como creas estas sentencias (Inserts), podrias mejorar un poco o mucho el tiempo de respuesta total.

Por ejemplo, si haces una especie de concatenación con la función CONCAT de MYSQL para que traiga los Inserts ya "parseados" desde el principio y no tengas que recorrer el XML para generar los Inserts. Tal vez esto te ahorre algo o mucho de tiempo.

[RaulChemical]

Pues si, la verdad es que tienes razón. Podría quitar algo de tiempo al generar las inserts, pero de todas formas, el cuello de botella lo sigo teniendo al insertar en Firebird.

Lo tendré en cuenta.

Muchas gracias.

[jhonny]

Empezado por RaulChemical

Pues si, la verdad es que tienes razón. Podría quitar algo de tiempo al generar las inserts, pero de todas formas, el cuello de botella lo sigo teniendo al insertar en Firebird.

Lo tendré en cuenta.

Muchas gracias.

Bueno, es que es de esperar que al tener cada vez mas registro, mas se van a demorar en insertarse, eso sucedería en cualquier motor y así encuentres la manera de optimizar esta inserción (por ahora) mas adelante volverás a tener el mismo problema.

Lo otro que te sugiero es que filtres y traigas únicamente los registros que han tenido modificaciones o los que son nuevos (Desde la ultima actualización), mas no todos, pues como bien dices se te va creando un "Cuello de botella" bastante estrecho.

[[Chris]]

Estuve leyendo casualmente ayer documentación relacionada a los componentes UIB (Unified Interbase). Parece que para tu tarea son los mas adecuados. Además ellos recomiendan hacer un commit cada 1,000 registros, además utilizar queries con parámetros.

Puedes tomar en cuenta esos detalles, a lo mejor logras una mejoría apreciable.

Saludos.