Tabla en memoria y cada tanto actualizar DB

[jars]

Hola amigos.
Necesito trabajar con una tabla en memoria que incialmente levante registros de una tabla Firebird, haga actualizaciones, insert y delete y cada tanto actualizar esos cambios en Firebird. Alguna ayuda por fabor.
Trabajo con Delphi 7 y Firebird 2.5
Gracias.

[Casimiro Notevi]

Empezado por jars

Alguna ayuda por fabor.

Y exactamente ¿el problema o la duda cuál es?

[jars]

El problema es que nunca utilize tablas en memoria que pueda modificar y luego cada tanto actualize el motor.
Se que se puede hacer con ClientDataset pero no tengo idea de como hacerlo. Si tienen algun ejemplo me ayudaria bastante.

[[AgustinOrtu]]

Busca información sobre ClientDataSet, en concreto sobre Cached Updates

[Casimiro Notevi]

Mira esto.

[jars]

Gracias Casimiro, creo que con esto me alcanza.

[ecfisa]

Hola jars.

¿ Y con que componentes te estas conectando ?

Saludos

[jars]

Estoy usando SQLDirect.
Acabo de leer el doc "La potencia de los ClientDataSet" pero al final dice que para un alta masiva no es conveniente.
Mi idea es actualizar en memoria alrededor de 1000 registros y cada tanto bajarlos a FireBird por el hecho que si se corta la luz, es minima la informacion que se pierde. Me conviene usar este esquema?

[[ElKurgan]]

Hombre, no se si se puede considerar 1.000 registros como una carga masiva.

Por propia experiencia, en algunas aplicaciones que hemos utilizado en el curro las actualizaciones de ClientDataset.ApplyUpdates se han ralentizado mucho a partir de 15.000 o 20.000 registros, y eso dependiendo también del equipo y la conexión de red.

Saludos

[jars]

Me estoy encontrando con el problema que cada vez que actualizo en memoria el ClientDataset (sin hacer el Apply) me va duplicando la memoria consumida y luego al hacer el ClientDataSet.ApplyUpdates(0) ademas de tardar una eternidad no devuelve toda la memoria y asi sigue creciendo hasta que Falla.

El ClientDataSet esta enlazado con un DataSetProvider y este con un TSDQuery (SQLDirect)
Este es el código:

Código Delphi [-]
var
  // TPosData es un registro de prueba
  Pos: array [0..299] of TPosData;

begin
  for i := 0 to 299 do
    with Pos[i] do
    begin
      // cds es el ClientDataSet
      if cds.Locate('U_ID', i+1, [loCaseInsensitive]) then
        cds.Edit
      else
      begin
        cds.Insert;
        cds.FieldByName('U_ID').AsInteger := i+1;
      end;
      
      // la tabla tiene 2 campos U_ID Integer y DATA Blob.
      blobF := cds.FieldByName('DATA') as TBlobField;
      bs := cds.CreateBlobStream(blobF, bmWrite);
      try
        bs.Write(Pos[i], SizeOf(Pos));
      finally
        bs.Free;
      end;
      cds.Post;
    end;
end;

Alguna idea?

[mamcx]

1.000 no tiende a ser un numero significativo para manejar en memoria para tipos de datos basicos. Quizas dependa de que tan grande son los datos en el BLOB.

Si se te esta incrementando la memoria, es porque hay un leak. No estas liberando algo, o tienes una referencia circular que te impide hacerlo.


Si hay otras maneras? Seguro. Pero implica salir del esquema de los DataSets y para lo que describes no parece necesario, si es que se encuentra la razon del aumento de memoria (Y cuanto es este aumento? Cuanta memoria disponen los equipos que usaran esto?)

[jars]

Lo del aumento de memoria resulto solucionarse con cds.Refresh luego del ApplyUpdates.
Lo que no me convence mucho es el tiempo de demora al volcarlo a la BBDD, 300 registros 20 segundos.

[[ElKurgan]]

Ah, que hay campos blob implicados... hummmm

En este post hablan de algo parecido, aunque en este caso hablan de un retardo de 20 segundos para ¡¡ 19.000 registros !!

Parece que cada vez que haces el ApplyUpdates se actualizan en la BD los campos blob que no se han tocado (según el código). Lo mismo les pasaba a los del Post anterior.

Fíjate que dicen que lo solucionaron poniendo "poFetchBlobOnDemand" en el datasetProvider, y el tiempo se redujo drásticamente.

Si no es ese el problema, habrá que ver otro enfoque...

Saludos

[jars]

Lo que veo es que el blob (registro) es muy grande y no me permite crear mas de 380 registros (Access violation).
Alguien me puede decir como tomar ese registro, comprimirlo con ZLib y luego meterlo en el campo blob?

[jars]

[elkurgan] los campos blob se actualizan siempre. Gracias

[Casimiro Notevi]

¿Qué almacenas en esos campos blob?

[jars]

Lo que almaceno en el campo blob es un registro bastante grande con datos de todo tipo.

[Casimiro Notevi]

Empezado por jars

Lo que almaceno en el campo blob es un registro bastante grande con datos de todo tipo.

Preguntabas si se pueden comprimir esos datos, por eso mi duda. Entonces, evidentemente, si es un zip, un jpg, etc. no podrás comprimirlo. Si es texto, sí.

Me temo que el método que estás usando no es el más indicado para trabajar con campos blob.

[jars]

Lo que quiero comprimir no es ni zip ni jpg es un registro como este (una parte):

Código Delphi [-]
  TPos = record
    PosNum: Word;                
    AgentId: string[10];                
    AgentName: string[30];           
    State: Byte;                        
    PosFlags: set of TPosFlag;        
    SkillSet: TSkillSet;                   
    SkillsDistribution: TSkillsDist;   
    CurrentCallSkill: Byte;            
    CurrentStateTime: Word;        
    PosIdleTime: Word;                
    PosLockedTime: Word;           
  .......
sigue bastante mas

Lo que quería probar ahora era comprimirlo antes de meterlo en el campo blob y no se como hacerlo.

Por otro lado si este no es el método indicado acepto cualquier sugerencia para cambiarlo.

[Casimiro Notevi]

Sería necesario conocer bastante más detalles de tu sistema para poder recomendarte algo.

El código que has puesto no nos dice nada sobre lo que guardas el blob. Si son esos "record", entonces es texto. La verdad es que no se entiende bien qué estás haciendo. Sería necesaria más información.