Actualizar un dataset desde otro dataset

[jafera]

Buenas tardes.

Soy comisario de ciclismo y estoy desarrollando una aplicacion para gestionar las carreras de bicicletas y poder hacer inscripciones, clasificaciones etc.

El motivo de mi consulta es el sifguiente:

Utilizo Delphi 6 y Firebird 1.5

Tengo una tabla (IBDataset) con los registros
En otro dataset tengo otros registros que actualizo desde una tabla .txt que se me envia periodicamente (semanal).
Tengo que actualizar los datos del dataset principal con los del dataset creado con la tabla txt, en caso de que no exista li añado y en caso de que exista lo modifica, aunque me gustaria que si no hay modificaciones lo pasara de largo. El problema que tengo es que esta tabla contiene aprox. 45.000 registros y tarda mucho en revisarse. Os adjunto el codigo por si alguien ve una forma de agilizar este problema.

procedure TF_Actualitza.RadioGroup1Click(Sender: TObject);
var i:integer;
begin
        F_ModulDades.MasterE.Close;
        F_ModulDades.MasterE.Open;
        F_ModulDades.Master.Close;
        F_ModulDades.Master.Open;
        F_ModulDades.MasterE.Last;
        Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
        F_ModulDades.MasterE.First;
        While not F_ModulDades.MasterE.Eof do
        begin
         If F_ModulDades.Master.Locate('DNI',F_ModulDades.MasterEC11.Value,[])then
                begin
                 F_ModulDades.Master.Edit;
                 F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
                        F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
                        F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
                        F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
                        F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
                        F_Moduldades.Master.Post;
                        F_ModulDades.MasterE.Next;
             end
         else
         begin
                        F_ModulDades.Master.Last;
          i:=F_ModulDades.MasterID_CORREDOR.Value+1;
                 F_ModulDades.Master.Append;
                 F_ModulDades.MasterID_CORREDOR.Value:=i;
          F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
                        F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
                        F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
                        F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
                        F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
                        F_Moduldades.Master.Post;
                        F_ModulDades.MasterE.Next;
         end;
                Progressbar1.Position := F_ModulDades.MasterE.RecNo;
        end;
        ShowMessage('Procés finalitzat')
end;

Muchisimas gracias por adelantado

[[maeyanes]]

Hola...

Si estás trabajando con Firebird, te recomiendo que uses componentes de tipo query y dataset en lugar de los tipo table. Si usas los IBX estos son TIBDataSet y TIBQuery.

Lo que podrías hacer es un ciclo que recorra todos los registros del archivo de texto (que no se como los cargas) y por cada registro primero buscas si existe en la tabla destino, esto lo puedes hacer haciendo una consulta por el campo ID o algún campo único. Si el registro no existe, entonces haces una sentencia insert para agregar el registro. Si el registro existe, puedes comparar los datos de este con los que obtienes en el archivo de texto y solo modificar los que han cambiado, esto con una sentencia update.

No se si me expliqué bien, pero espero que esto te de una idea de como realizar el proceso.


Saludos...

[jafera]

Gracias Maeyanes.

El tema de pasar los datos del txt al dataset, pues me interesa mantener las dos tablas, ya lo tengo resuelto, el problema viene cuando desde este dataset quiero pasar los datos a otro dataset, ahí es donde el proceso se ralentiza creo que al usar un locate para encontrar si el registro existe, uso el camp DNI ya que es unico por cada persona.

[[maeyanes]]

Hola...

Tu problema es que para usar el método Locate, necesitas que estén todos los datos del lado del cliente y si esos son muchos, tarda más en cargalos todos desde el servidor.

Si usas un query para lanzar una consulta del tipo: select count(DNI) from Tabla where DNI = 'valor' para saber si existe cierto DNI en la tabla, puedes acelerar en mucho tu proceso.


Saludos...

[jafera]

Creo que alg así es lo que necesito.

Voy a ver

Josep

[jafera]

Nada de nada, que no doy con la solución, a parte de tardar mucho en hacer el recorrido de las tablas, consume muchos recursos de la máquina y casi la bloquea