Lento al Insertar

[brandolin]

Hola a todos:

Les tiro el problema: Tengo Firebird 1.5 RC7 + D6 + IBDataSet + Windows + Ejecucion en el disco local.
Se deben insertar unos 20000 registros uno detras del otro en un proceso diario de actualizacion de datos. El tema que se hace una consulta para ver si se inserta el registro (ya que no existe en la tabla) o se editan los datos.

El codigo es mas o menos asi:

if IBDataSet.locate('Codigo', Cod []) then IbDataSet.edit else ibdataset.insert
ibdatasetCodigo.value := XX
etc
etc
ibdataset.post;
IBTrans.commitretailing;

Cuando empieza el proceso camina a una velocidad interesante, pero luego de unos 1000 registros cae considerablemente la velocidad hasta llegar a 1 registro cada 2 o 3 seguntos, cosa que no puedo permitir.

Alguien sabe como se puede agilizar esto o porque sucede.

GRacias desde ya.

[guillotmarc]

Hola.

Puedes hacer un Commit cada 1000 registros. (El CommitRetaining mantiene la transacción, mientras que el Commit forzará a iniciar una nueva).

Saludos.

[brandolin]

Pero con el Commit debo volver a abri la tabla ya que se cierra la misma, lo que supongo es un gasto de innecesario de recursos

Ademas el Debo asegurarme que cada registro quede guardado correctamente por eso el commit por cada registro, ya que si hago uno cada 1000 y da error en alguno de ellos con un rollbak cancelaria los ultimos 1000 ingresados. No es una opcion.

Algo debe estar pasando ya que los primeros se insertan bien y a buena velocidad pero luego el rendimiento decae.

¿será por el locate que al ir agrandandose la tabla se hace mas lento?¿no deberia ser esto ya que mil son pocos?

[jachguate]

Habrá que ver como se implementa el locate... ya que 1000 son pocos, pero 1000 llamadas a un locate que recorre 1000 registros, ya son 1000000 de registros recorridos...

Si el locate funciona en local... será mejor cambiar ese locate por una búsqueda en la base de datos mediante SQL. De hecho, podes cambiar todo a tres simples SQL's que hacen select, update e insert, ya que segun veo, no tiene sentido mantener todo en un DataSet durante el proceso.

El hacer commit a cada registro también me parece mala idea... yo haria un solo commit por todos los registros y si algo falla, que corran el proceso completo otra vez (claro, si esto es posible, es mucho mejor), pero dependerá de las especificaciones y necesidades de tu proyecto

Hasta luego.

[brandolin]

El locate recorre uno por uno todos los registros? Porque se habla de mantener todo un DAtaSEt completo, no entiendo?

[jachguate]

Pues tengo muy poca experiencia con IBX, asi que no puedo confirmarte la manera en que hacen el locate.... por lo mismo, quizas solo este hablando burradas. Pero tener un DataSet abierto en el cliente supone mantener buffers con registros (a medida que se van insertando registros, se conservan en memoria en el cliente, ya que el dataset podria ser visto desde una rejilla, etc).

Si el componente hace el Locate en local, una llamada a este provocará que los datos ya existentes en el servidor viajen al cliente para determinar si el registro existe o no...

En fin, si solo tenes que insertar y actualizar datos (sin que se vean en ninguna parte durante el proceso, que debiera ser lo normal) tengo la impresión que será mas eficiente con select/insert/update como lo comenté.

Si podes monitorear la comunicación entre el cliente y el servidor, podrias vos mismo aclarar acá si lo que supongo es cierto o no.

Hasta luego.