Actualizar un dataset desde otro dataset
 

Buenas tardes.

Soy comisario de ciclismo y estoy desarrollando una aplicacion para gestionar las carreras de bicicletas y poder hacer inscripciones, clasificaciones etc.

El motivo de mi consulta es el sifguiente:

Utilizo Delphi 6 y Firebird 1.5

Tengo una tabla (IBDataset) con los registros
En otro dataset tengo otros registros que actualizo desde una tabla .txt que se me envia periodicamente (semanal).
Tengo que actualizar los datos del dataset principal con los del dataset creado con la tabla txt, en caso de que no exista li añado y en caso de que exista lo modifica, aunque me gustaria que si no hay modificaciones lo pasara de largo. El problema que tengo es que esta tabla contiene aprox. 45.000 registros y tarda mucho en revisarse. Os adjunto el codigo por si alguien ve una forma de agilizar este problema.

Muchisimas gracias por adelantado

Hola...

Si estás trabajando con Firebird, te recomiendo que uses componentes de tipo query y dataset en lugar de los tipo table. Si usas los IBX estos son TIBDataSet y TIBQuery.

Lo que podrías hacer es un ciclo que recorra todos los registros del archivo de texto (que no se como los cargas) y por cada registro primero buscas si existe en la tabla destino, esto lo puedes hacer haciendo una consulta por el campo ID o algún campo único. Si el registro no existe, entonces haces una sentencia insert para agregar el registro. Si el registro existe, puedes comparar los datos de este con los que obtienes en el archivo de texto y solo modificar los que han cambiado, esto con una sentencia update.

No se si me expliqué bien, pero espero que esto te de una idea de como realizar el proceso.


Saludos...

Actualizar datos
 

Gracias Maeyanes.

El tema de pasar los datos del txt al dataset, pues me interesa mantener las dos tablas, ya lo tengo resuelto, el problema viene cuando desde este dataset quiero pasar los datos a otro dataset, ahí es donde el proceso se ralentiza creo que al usar un locate para encontrar si el registro existe, uso el camp DNI ya que es unico por cada persona.

Hola...

Tu problema es que para usar el método Locate, necesitas que estén todos los datos del lado del cliente y si esos son muchos, tarda más en cargalos todos desde el servidor.

Si usas un query para lanzar una consulta del tipo: select count(DNI) from Tabla where DNI = 'valor' para saber si existe cierto DNI en la tabla, puedes acelerar en mucho tu proceso.


Saludos...

Actualizar dataset
 

Creo que alg así es lo que necesito.

Voy a ver

Josep

Actualizar Dataset
 

Nada de nada, que no doy con la solución, a parte de tardar mucho en hacer el recorrido de las tablas, consume muchos recursos de la máquina y casi la bloquea

Actualizar Dataset
 

Así es como lo he dejado, pero sigue tardando mucho tiempo, en una aplicacion que usa acces como base de datos este proceso es muy rápido. Yo ya casi que tiro la toalla. Delphius me dice que si uso indices, no se exactamente a que se refiere, campo llave?, si es así es el DNI
Gracias a todos a ver si alguien tiene una bombilla que luzca más que la mia, creo que se me ha fundido de tanto pensar.

Josep

Actualizar dataset
 

Nota, la aplicación no es cliente servidor, se utiliza en máquina local

Josep

Hola Josep,

yo probaría a abrir una tabla con solo los DNIs para no tener que estar abriendo y cerrando tablas, luego si existe realizar sentencia de Update y si no, realizar Insert. No conozco los IB ya que yo trabajo con dbexpress y los componentes tSimpleDataSet o tClientDataSet, pero yo no trabajaria con Locate ( suele ser lento en las busquedas ), si puedes y lo tiene usa Findkey que usa el indice por el cual abres la tabla.

Salutacions ( saludos en catalán )

Actualizar dataset
 

Gracias, ahora estoy probando con pero me da un error de que no encuentra el campo 'COPA'.
Sigo dandole vueltas

Josep

Utilizas un Last para obtener el ultimo id de corredor, y eso es lo que te relentiza la aplicacion.
Para que lo entiendas, cada vez que tienes un ciclista nuevo el programa abre y se trae todos los datos hasta llegar al ultimo. Es totalmente ineficiente con semejante numero de registros.

Deberias usar un generador para las IDs (ver en google "Generadores FireBird")
Esta seria la mejor opcion, sin dudas veras como aumenta muchisimo la velocidad.

Otra forma seria lanzar un sql (dentro de un IBquery o IBSQL) como este:

Código SQL [-]
SELECT max(ID_CORREDOR)+1 as ultimo_ID FROM nombre_tabla

Tendrias el dato del nuevo corredor en el campo 'ultimo_ID'. Ultimo_ID no tiene que ser un campo de tu tabla, es un alias que utilizo y puede ser el texto a tu eleccion.
Para más velocidad, que el query sea UNIDIRECCIONAL, no necesitas recorrerlo, solo buscas un dato.

Por supuesto, el LOCATE ni tocarlo.

Un indice en el campo DNI no vendria mal. (ver google "Indices en FireBird")

En firebird 2.1 puedes hacer un INSERT o UPDATE en una sentencia.
Puesto que estas acostumbrado ha tablas de escritorio no te lo complico más.

Del mismo modo que Access y FireBird no se pueden comparar al mismo nivel, tampoco deberias usar las mismas tecnicas.

No es correcto, tu aplicacion es cliente/servidor, solo que ambos estan en la misma maquina, y que por lo tanto no se necesita una infraestructura de red, pero internamente tu aplicacion se comunica con el servidor de firebird via TCP. Ponle un cortafuegos extricto y veras lo que pasa.

Debes de programar pensando en cliente/servidor, los locate, last, recordcount, gotokey, etc... olvidalos (bueno, recordcount si sabes como se comporta puede servir), solo te daran problemas.

saludos

No habia visto esto:
Prueba esto:

Código SQL [-]
SELECT DNI FROM CU001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)

No necesitas contar los DNI, el resultado seria 1 o 0

Despues cambia el recordcount:

Código Delphi [-]
F_ModulDades.Master.Open;
                                If F_ModulDades.Master.RecordCount>0 then

cambialo por
F_ModulDades.Master.Open;
                                If F_ModulDades.Master.fieldbyname('DNI').asstring<>'' then

Basta con comprobar que el DNI tiene algun valor, entiendo que los DNIs son unicos.

Usar VALUE te va a volver loco, utiliza fieldbyname y me lo agradeceras

Saludos amigo, nos esi entendi lo que queires hacer pero podrias intentar clonando los Dataset de ese modo puedes pasara la informacion de un Dataset a otro sin mayor complicación y sin q

Saludos amigo, haber si entendi algo de tu problema podrias clonar dataset para pasar informacion de un dataset cargado a otro de este modo podras pasar informaciond e un dataset a otro yd e manera transparente a tu aplciacion

Actualizar dataset
 

Gracias Sick Boy y Angelholberg por vuestro interés, probaré la opción de Sick a ver si va mejor.
Angel, no estoy muy puesto en según que procesos, me podrías comentar algo más acerca de clonar?

Gracias

Josep:)

Hola Jafera. Prueba el siguiente código:

Código Delphi [-]
procedure TF_Actualitza.BitBtn1Click(Sender: TObject);
var i:integer;
tmpQuery: TIBQuery;
begin
If RadioGroup1.ItemIndex=0 then
begin
  F_Confirmacio := TF_Confirmacio.Create(self);
  F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
  F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
  F_Confirmacio.Label3.Caption:= 'Estas segur?';

  if not (F_Confirmacio.ShowModal = mrok) then
    Abort;

end;

try
  tmpQuery := TIBQuery.Create(Selft);
  tmpQuery.SQL.Add('SELECT DNI FROM CU0001 WHERE DNI=:DNI_in_txt');
  F_ModulDades.MasterE.Close;
  F_ModulDades.MasterE.Open;
  F_ModulDades.Master.Close;
  F_ModulDades.Master.Open;
  F_ModulDades.MasterE.Last;
  Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
  F_ModulDades.MasterE.First;

  while not F_ModulDades.MasterE.Eof do
  begin
    with tmpQuery do
    begin
    if not Active then
      Close;

    ParamByName('DNI_in_txt').AsInteger := F_ModulDades.MasterEC11.Value;

    if not Prepared then
      Prepare;

    Open;
    end;

    if tmpQuery.isEmpty then
      begin
      i:=F_ModulDades.MasterID_CORREDOR.Value+1;
      F_ModulDades.Master.Insert;
      F_ModulDades.MasterID_CORREDOR.Value:=i;
      end
    else
      begin
      F_ModulDades.Master.Edit;
      end;

    // código compartido para asignación de valores
    F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
    F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
    F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
    F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
    F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
    F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
    F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
    F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
    F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
    F_Moduldades.Master.Post;

  Progressbar1.Position := F_ModulDades.MasterE.RecNo;
  F_ModulDades.MasterE.Next;
  end;
finally
  F_Confirmacio.Free;
  tmpQuery.Free;
  ShowMessage('Procés finalitzat');
end;
end;

No sé si valla a servirte, pues tu código es un algo complicado de entender si no tienes a mano la estructura de componentes y objetos de datos que estás utilizando. Sin embargo, creo que a pesar de todo, este código limpio y optimizado pueda ayudarte a ganar tiempo.

Saludos.

Actualizar dataset
 

Gracias por el código.

Lo he probado y me manda un error de que el parametro DNI_txt no existe.
He puesto un punto de interrupcion y el valor de C11 si que coje el primer valor de la tabla, despues me dice que no encuentra el parametro y enseguida me dice que proceso acabado.

Josep

seguramente has perdido algo al copiar el código, pues el verdadero nombre del parámetro es "DNI_in_txt" (sin las comillas) no "DNI_txt"

Saludos.