Lento al Insertar

[brandolin]

Hola a todos:

Les tiro el problema: Tengo Firebird 1.5 RC7 + D6 + IBDataSet + Windows + Ejecucion en el disco local.
Se deben insertar unos 20000 registros uno detras del otro en un proceso diario de actualizacion de datos. El tema que se hace una consulta para ver si se inserta el registro (ya que no existe en la tabla) o se editan los datos.

El codigo es mas o menos asi:

if IBDataSet.locate('Codigo', Cod []) then IbDataSet.edit else ibdataset.insert
ibdatasetCodigo.value := XX
etc
etc
ibdataset.post;
IBTrans.commitretailing;

Cuando empieza el proceso camina a una velocidad interesante, pero luego de unos 1000 registros cae considerablemente la velocidad hasta llegar a 1 registro cada 2 o 3 seguntos, cosa que no puedo permitir.

Alguien sabe como se puede agilizar esto o porque sucede.

GRacias desde ya.

[guillotmarc]

Hola.

Puedes hacer un Commit cada 1000 registros. (El CommitRetaining mantiene la transacción, mientras que el Commit forzará a iniciar una nueva).

Saludos.

[brandolin]

Pero con el Commit debo volver a abri la tabla ya que se cierra la misma, lo que supongo es un gasto de innecesario de recursos

Ademas el Debo asegurarme que cada registro quede guardado correctamente por eso el commit por cada registro, ya que si hago uno cada 1000 y da error en alguno de ellos con un rollbak cancelaria los ultimos 1000 ingresados. No es una opcion.

Algo debe estar pasando ya que los primeros se insertan bien y a buena velocidad pero luego el rendimiento decae.

¿será por el locate que al ir agrandandose la tabla se hace mas lento?¿no deberia ser esto ya que mil son pocos?

[jachguate]

Habrá que ver como se implementa el locate... ya que 1000 son pocos, pero 1000 llamadas a un locate que recorre 1000 registros, ya son 1000000 de registros recorridos...

Si el locate funciona en local... será mejor cambiar ese locate por una búsqueda en la base de datos mediante SQL. De hecho, podes cambiar todo a tres simples SQL's que hacen select, update e insert, ya que segun veo, no tiene sentido mantener todo en un DataSet durante el proceso.

El hacer commit a cada registro también me parece mala idea... yo haria un solo commit por todos los registros y si algo falla, que corran el proceso completo otra vez (claro, si esto es posible, es mucho mejor), pero dependerá de las especificaciones y necesidades de tu proyecto

Hasta luego.

[brandolin]

El locate recorre uno por uno todos los registros? Porque se habla de mantener todo un DAtaSEt completo, no entiendo?

[jachguate]

Pues tengo muy poca experiencia con IBX, asi que no puedo confirmarte la manera en que hacen el locate.... por lo mismo, quizas solo este hablando burradas. Pero tener un DataSet abierto en el cliente supone mantener buffers con registros (a medida que se van insertando registros, se conservan en memoria en el cliente, ya que el dataset podria ser visto desde una rejilla, etc).

Si el componente hace el Locate en local, una llamada a este provocará que los datos ya existentes en el servidor viajen al cliente para determinar si el registro existe o no...

En fin, si solo tenes que insertar y actualizar datos (sin que se vean en ninguna parte durante el proceso, que debiera ser lo normal) tengo la impresión que será mas eficiente con select/insert/update como lo comenté.

Si podes monitorear la comunicación entre el cliente y el servidor, podrias vos mismo aclarar acá si lo que supongo es cierto o no.

Hasta luego.

[jjoliveras]

Ambas tablas están dentro de la misma base de datos? si es así porque no lanzas un StoreProcedure que realice un insert de los datos desde delphi por cada registro dentro de un try..except..end para que si te devuelve un error al menos siga adelante y puedas tener referencia del mismo.

Ej.:

while not tabla.eof do
  begin
    try
      with sp_actualiza do
        begin
          parambyname('codigo').Value = x;
          parambyname....
          prepare;
          execproc;
          close;
        end;
    except
      on e: exception do
        begin
          memo1.lines.add('Registro no actulizado con Código :'+x')
          memo1.lines.add('   *** '+e.message);
        end;
    end;
    tabla.next;
  end;

Yo tuve el mismo problema con un traspaso de datos y se me ocurrio lanzar un SP que hiciera el insert por cada registro de datos (317000 registros) y va siempre a la misma velocidad.

Espero que te sirva de orientación.

Saludos

[guillotmarc]

Hola.

¿ Hay alguna razón para los CommitRetaining ?. Una serie larga de Soft Commit sin un Hard Commit que pueda liberar el contexto de la transacción, va a degradar el rendimiento del Servidor. Simplemente quita el CommitRetaining, no parece que lo necesites para nada.

Respecto al Locate, tampoco conozco la implementación de los IBX, aunque creo haber leído que efectivamente recorre todos los registros. Así que parece mejor solución lanzar una consulta en el Servidor, como comentaba juachgate. Aunque indudablemente, la mejor solución, en caso de ser posible, es realizar todo el proceso de búsqueda y inserción dentro de un procedimiento almacenado, como comenta jjoliveras.

Saludos.

[brandolin]

ahora estamos mejorando...

saque los locate, deje el commitretailn..., en los ibxdataset puese Forcedrefresh := False, sace un Fetchall que estaba en el medio y la cosa mejoro bastante ahora por lo menos es constante la velocidad de insercion en todos los registros.

No obstante sigue siendo lento. Calculo quedebe ser por los IBX, probare cambiarlos y ver que pasa.

No obstante. Creo que puede verse degradada la velocidad en general ya que la transferencia la hago desde un Btrieve (con ODBC) mas un monton de cuentas, etc, etc.

Vere si puedo mejorar algo. Si tienen alguna idea, desde ya gracias.

[guillotmarc]

Empezado por brandolin

saque los locate, deje el commitretailn..., en los ibxdataset puese Forcedrefresh := False, sace un Fetchall que estaba en el medio y la cosa mejoro bastante ahora por lo menos es constante la velocidad de insercion en todos los registros.

¿ Alguna razón en concreto ?

[brandolin]

le encontre la vuelta...

la idea es no utilizar para nada el locate... se pone lentisimo y es en progresion geometrica. por lo que calculo que el locate realiza la busqueda por toda la tabla.

Ademas utlizo el commit todo el proceso y no para cada insercion. Esto no afecta mucho el rendimiento pero hace unos segundo mas rapido todo.

Voy a probar con algunos componente que no sean lo IBA y les comento que paso.

Gracias por todo.