Acelerar inserciones masivas en Firebird

[RolphyReyes]

Saludos.

Soft Commit = CommitRetaining.

Realmente sigo sin entender el porque utilizar TpFIBScripter para rellenar y borrar y luego rellenar.....

El TpFIBScripter vendría siendo como la opción Script Execute de IbExpert donde pones el Script del tamaño que sea con las sentencias que sean (DML y DDL) y lo ejecutas de un golpe.

La misma opción tiene la opción, valga la redundancia, de que pones el COMMIT cada x cantidad de registro.

Si pudieras ser más especifico en cuanto a lo que quieres lograr sería un poco más facil para ayudarte.

Hasta luego.

[RaulChemical]

Lo que hace el programa es pasar los datos de una base de datos de un servidor a una base de datos firebird en local (desconozco la razón por la cual se decidió hacer esto).

Sincronizo los datos tabla a tabla.

Una de las tablas es la que me da estos problemas ya que tiene 150.000 registros, el resto no suele tener más de 2.000.

Por cada registro genero una insert que añado en el TpFibScripter.
Cuando he generado 10.000 inserts, ejecuto el script (TpFibScripter.ExecuteScript), lo limpio (TpFibScripter.Clear) y continuo generando inserts hasta EOF de la query del servidor.

Es la ejecución de esos scripts de 10.000 líneas las que tardan 20 segundos cada una.

Espero que con esto, me puedas ayudar.

Muchas gracias.

[RolphyReyes]

Saludos.

Ya entiendo la idea, lo que estas haciendo es un "replicador" de datos.

Se me ocurre dos cosas:

1.- Utilizar los métodos que te había mencionado Batchxxx.
2.- Si es una copia tal cual de como esta la BD del Servidor, entonces sería mejor si haces un Backup de la BD y luego un Restore en la PC local.

Otra cosa podría ser que consigas un programa como IBReplicator o similares, que ya están hechos y probados.

[RaulChemical]

El problema es que la base de datos del servidor no es Firebird, es MySQL.

Mi replicador lo que hace es pasar los datos de un lado al otro haciendo insert's.

Voy a probar lo de los Batchxxx.

Muchas gracias.

[jhonny]

Pregunto por curiosidad, ¿De que manera generas las sentencias "inserts" que traes de la base de datos "origen"?, o mejor... ¿Cual es el mecanismo que usas para ello?

[RaulChemical]

Tengo un xml donde tengo las tablas a sincronizar, los campos de cada tabla, con su nombre en firebird y su nombre en mysql y el tipo de dato (varchar, integer, timestamp).

Recorro mi lista de tablas. Por cada tabla hago una select de los campos que tiene en el xml y genero la insert con los campos que me trae el xml.

[jhonny]

Otra solución es que tal vez, te enfoques en optimizar el momento en que creas las sentencias Inserts. Seguramente optimizando la manera como creas estas sentencias (Inserts), podrias mejorar un poco o mucho el tiempo de respuesta total.

Por ejemplo, si haces una especie de concatenación con la función CONCAT de MYSQL para que traiga los Inserts ya "parseados" desde el principio y no tengas que recorrer el XML para generar los Inserts. Tal vez esto te ahorre algo o mucho de tiempo.

[RaulChemical]

Pues si, la verdad es que tienes razón. Podría quitar algo de tiempo al generar las inserts, pero de todas formas, el cuello de botella lo sigo teniendo al insertar en Firebird.

Lo tendré en cuenta.

Muchas gracias.