Actualizar un dataset desde otro dataset

jafera · #1 27-11-2008

Buenas tardes.

Soy comisario de ciclismo y estoy desarrollando una aplicacion para gestionar las carreras de bicicletas y poder hacer inscripciones, clasificaciones etc.

El motivo de mi consulta es el sifguiente:

Utilizo Delphi 6 y Firebird 1.5

Tengo una tabla (IBDataset) con los registros
En otro dataset tengo otros registros que actualizo desde una tabla .txt que se me envia periodicamente (semanal).
Tengo que actualizar los datos del dataset principal con los del dataset creado con la tabla txt, en caso de que no exista li añado y en caso de que exista lo modifica, aunque me gustaria que si no hay modificaciones lo pasara de largo. El problema que tengo es que esta tabla contiene aprox. 45.000 registros y tarda mucho en revisarse. Os adjunto el codigo por si alguien ve una forma de agilizar este problema.

Código:

procedure TF_Actualitza.RadioGroup1Click(Sender: TObject);
var i:integer;
begin
        F_ModulDades.MasterE.Close;
        F_ModulDades.MasterE.Open;
        F_ModulDades.Master.Close;
        F_ModulDades.Master.Open;
        F_ModulDades.MasterE.Last;
        Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
        F_ModulDades.MasterE.First;
        While not F_ModulDades.MasterE.Eof do
        begin
         If F_ModulDades.Master.Locate('DNI',F_ModulDades.MasterEC11.Value,[])then
                begin
                 F_ModulDades.Master.Edit;
                 F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
                        F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
                        F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
                        F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
                        F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
                        F_Moduldades.Master.Post;
                        F_ModulDades.MasterE.Next;
             end
         else
         begin
                        F_ModulDades.Master.Last;
          i:=F_ModulDades.MasterID_CORREDOR.Value+1;
                 F_ModulDades.Master.Append;
                 F_ModulDades.MasterID_CORREDOR.Value:=i;
          F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
                        F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
                        F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
                        F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
                        F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
                        F_Moduldades.Master.Post;
                        F_ModulDades.MasterE.Next;
         end;
                Progressbar1.Position := F_ModulDades.MasterE.RecNo;
        end;
        ShowMessage('Procés finalitzat')
end;

Muchisimas gracias por adelantado

[maeyanes] · #2 27-11-2008

Hola...

Si estás trabajando con Firebird, te recomiendo que uses componentes de tipo query y dataset en lugar de los tipo table. Si usas los IBX estos son TIBDataSet y TIBQuery.

Lo que podrías hacer es un ciclo que recorra todos los registros del archivo de texto (que no se como los cargas) y por cada registro primero buscas si existe en la tabla destino, esto lo puedes hacer haciendo una consulta por el campo ID o algún campo único. Si el registro no existe, entonces haces una sentencia insert para agregar el registro. Si el registro existe, puedes comparar los datos de este con los que obtienes en el archivo de texto y solo modificar los que han cambiado, esto con una sentencia update.

No se si me expliqué bien, pero espero que esto te de una idea de como realizar el proceso.

Saludos...

jafera · #3 27-11-2008

Gracias Maeyanes.

El tema de pasar los datos del txt al dataset, pues me interesa mantener las dos tablas, ya lo tengo resuelto, el problema viene cuando desde este dataset quiero pasar los datos a otro dataset, ahí es donde el proceso se ralentiza creo que al usar un locate para encontrar si el registro existe, uso el camp DNI ya que es unico por cada persona.

[maeyanes] · #4 27-11-2008

Hola...

Tu problema es que para usar el método Locate, necesitas que estén todos los datos del lado del cliente y si esos son muchos, tarda más en cargalos todos desde el servidor.

Si usas un query para lanzar una consulta del tipo: select count(DNI) from Tabla where DNI = 'valor' para saber si existe cierto DNI en la tabla, puedes acelerar en mucho tu proceso.

Saludos...

jafera · #5 27-11-2008

Creo que alg así es lo que necesito.

Voy a ver

Josep

jafera · #6 28-11-2008

Nada de nada, que no doy con la solución, a parte de tardar mucho en hacer el recorrido de las tablas, consume muchos recursos de la máquina y casi la bloquea

jafera · #7 10-12-2008

Así es como lo he dejado, pero sigue tardando mucho tiempo, en una aplicacion que usa acces como base de datos este proceso es muy rápido. Yo ya casi que tiro la toalla. Delphius me dice que si uso indices, no se exactamente a que se refiere, campo llave?, si es así es el DNI

Código:

 
procedure TF_Actualitza.BitBtn1Click(Sender: TObject);
var i:integer;
begin
        If RadioGroup1.ItemIndex=0 then
        begin
                F_Confirmacio := TF_Confirmacio.Create(self);
                F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
                F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
                F_Confirmacio.Label3.Caption:= 'Estas segur?';
                try
                If F_Confirmacio.ShowModal = mrok then
                begin
                        F_ModulDades.MasterE.Close;
                        F_ModulDades.MasterE.Open;
                        F_ModulDades.Master.Close;
                        F_ModulDades.Master.Open;
                        F_ModulDades.MasterE.Last;
                        Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
                        F_ModulDades.MasterE.First;                  
                        While not F_ModulDades.MasterE.Eof do
                        begin
                         F_ModulDades.Master.Close;
                                F_ModulDades.Master.SelectSQL.Text:='SELECT COUNT DNI FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value);
                                F_ModulDades.Master.Open;
                                If F_ModulDades.Master.RecordCount>0 then
                                begin
                                 F_ModulDades.Master.Edit;
                                 F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
                                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
                                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
                                        F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
                                        F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
                                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
                                        F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
                                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
                                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
                                        F_Moduldades.Master.Post;
                                        F_ModulDades.MasterE.Next;
                                end
                         else
                         begin
                                        F_ModulDades.Master.Last;
                          i:=F_ModulDades.MasterID_CORREDOR.Value+1;
                                 F_ModulDades.Master.Append;
                                 F_ModulDades.MasterID_CORREDOR.Value:=i;
                          F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
                                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
                                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
                                        F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
                                        F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
                                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
                                        F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterEC11.Value;
                                        F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
                                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
                                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
                                        F_Moduldades.Master.Post;
                                        F_ModulDades.MasterE.Next;
                                end;
                                Progressbar1.Position := F_ModulDades.MasterE.RecNo;
                        end;
                end;
                finally
                        F_Confirmacio.Free;
                end;
                ShowMessage('Procés finalitzat');
        end
        else
        If RadioGroup1.ItemIndex=1 then
        begin
                F_Confirmacio := TF_Confirmacio.Create(self);
                F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
                F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
                F_Confirmacio.Label3.Caption:= 'Estas segur?';
                try
                If F_Confirmacio.ShowModal = mrok then
                begin
                        F_ModulDades.MasterC.Close;
                        F_ModulDades.MasterC.Open;
                        F_ModulDades.Master.Close;
                        F_ModulDades.Master.Open;
                        F_ModulDades.MasterC.Last;
                        Progressbar1.Max := F_ModulDades.MasterC.RecordCount;
                        F_ModulDades.MasterC.First;
                        While not F_ModulDades.MasterC.Eof do
                        begin
                                F_ModulDades.Master.Close;
                                F_ModulDades.Master.SelectSQL.Text:='SELECT * FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value);
                                F_ModulDades.Master.Open;
                                If F_ModulDades.Master.RecordCount>0 then
                                begin
                                 F_ModulDades.Master.Edit;
                                 F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterCC5.Value;
                                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterCC6.Value;
                                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterCC7.Value;
                                        F_ModulDades.MasterCODI_CAT.Value:=StrToInt(F_ModulDades.MasterCC10.Value);
                                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterCC11.Value;
                                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterCC13.Value;
                                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterCC14.Value;
                                        F_Moduldades.Master.Post;
                                        F_ModulDades.MasterC.Next;
                                end
                         else
                         begin
                                        F_ModulDades.Master.Last;
                          i:=F_ModulDades.MasterID_CORREDOR.Value+1;
                                 F_ModulDades.Master.Append;
                                        F_ModulDades.MasterID_CORREDOR.Value:=i;
                                        F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterCC5.Value;
                                        F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterCC6.Value;
                                        F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterCC7.Value;
                                        F_ModulDades.MasterCODI_CAT.Value:=StrToInt(F_ModulDades.MasterCC10.Value);
                                        F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterCC11.Value;
                                        F_ModulDades.MasterDNI.Value:=F_ModulDades.MasterCC12.Value;
                                        F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterCC13.Value;
                                        F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterCC14.Value;
                                        F_Moduldades.Master.Post;
                                        F_ModulDades.MasterC.Next;
                                end;
                                Progressbar1.Position := F_ModulDades.MasterC.RecNo;
                        end;
                end;
                finally
                        F_Confirmacio.Free;
                end;
                ShowMessage('Procés finalitzat');
        end;
end;

Gracias a todos a ver si alguien tiene una bombilla que luzca más que la mia, creo que se me ha fundido de tanto pensar.

Josep

jafera · #8 10-12-2008

Nota, la aplicación no es cliente servidor, se utiliza en máquina local

Josep

JosepGA · #9 10-12-2008

Hola Josep,

yo probaría a abrir una tabla con solo los DNIs para no tener que estar abriendo y cerrando tablas, luego si existe realizar sentencia de Update y si no, realizar Insert. No conozco los IB ya que yo trabajo con dbexpress y los componentes tSimpleDataSet o tClientDataSet, pero yo no trabajaria con Locate ( suele ser lento en las busquedas ), si puedes y lo tiene usa Findkey que usa el indice por el cual abres la tabla.

Salutacions ( saludos en catalán )

jafera · #10 10-12-2008

Gracias, ahora estoy probando con

Código:

'SELECT COUNT (DNI) FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)(

pero me da un error de que no encuentra el campo 'COPA'.
Sigo dandole vueltas

Josep

Sick boy · #11 17-12-2008

Cita:

F_ModulDades.Master.Last;
i:=F_ModulDades.MasterID_CORREDOR.Value+1;

Utilizas un Last para obtener el ultimo id de corredor, y eso es lo que te relentiza la aplicacion.
Para que lo entiendas, cada vez que tienes un ciclista nuevo el programa abre y se trae todos los datos hasta llegar al ultimo. Es totalmente ineficiente con semejante numero de registros.

Deberias usar un generador para las IDs (ver en google "Generadores FireBird")
Esta seria la mejor opcion, sin dudas veras como aumenta muchisimo la velocidad.

Otra forma seria lanzar un sql (dentro de un IBquery o IBSQL) como este:

Código SQL [-]SELECT max(ID_CORREDOR)+1 as ultimo_ID FROM nombre_tabla

Tendrias el dato del nuevo corredor en el campo 'ultimo_ID'. Ultimo_ID no tiene que ser un campo de tu tabla, es un alias que utilizo y puede ser el texto a tu eleccion.
Para más velocidad, que el query sea UNIDIRECCIONAL, no necesitas recorrerlo, solo buscas un dato.

Por supuesto, el LOCATE ni tocarlo.

Un indice en el campo DNI no vendria mal. (ver google "Indices en FireBird")

En firebird 2.1 puedes hacer un INSERT o UPDATE en una sentencia.
Puesto que estas acostumbrado ha tablas de escritorio no te lo complico más.

Del mismo modo que Access y FireBird no se pueden comparar al mismo nivel, tampoco deberias usar las mismas tecnicas.

Cita:

Nota, la aplicación no es cliente servidor, se utiliza en máquina local

No es correcto, tu aplicacion es cliente/servidor, solo que ambos estan en la misma maquina, y que por lo tanto no se necesita una infraestructura de red, pero internamente tu aplicacion se comunica con el servidor de firebird via TCP. Ponle un cortafuegos extricto y veras lo que pasa.

Debes de programar pensando en cliente/servidor, los locate, last, recordcount, gotokey, etc... olvidalos (bueno, recordcount si sabes como se comporta puede servir), solo te daran problemas.

saludos

Sick boy · #12 17-12-2008

No habia visto esto:

Cita:

Gracias, ahora estoy probando con
Código:

'SELECT COUNT (DNI) FROM CU0001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)(

pero me da un error de que no encuentra el campo 'COPA'.
Sigo dandole vueltas

Prueba esto:

Código SQL [-]SELECT DNI FROM CU001 WHERE DNI='+QuotedStr(F_ModulDades.MasterEC11.Value)

No necesitas contar los DNI, el resultado seria 1 o 0

Despues cambia el recordcount:

Código Delphi [-]F_ModulDades.Master.Open;
                                If F_ModulDades.Master.RecordCount>0 then

cambialo por
F_ModulDades.Master.Open;
                                If F_ModulDades.Master.fieldbyname('DNI').asstring<>'' then

Basta con comprobar que el DNI tiene algun valor, entiendo que los DNIs son unicos.

Usar VALUE te va a volver loco, utiliza fieldbyname y me lo agradeceras

angelholberg · #13 17-12-2008

Saludos amigo, nos esi entendi lo que queires hacer pero podrias intentar clonando los Dataset de ese modo puedes pasara la informacion de un Dataset a otro sin mayor complicación y sin q

angelholberg · #14 17-12-2008

Saludos amigo, haber si entendi algo de tu problema podrias clonar dataset para pasar informacion de un dataset cargado a otro de este modo podras pasar informaciond e un dataset a otro yd e manera transparente a tu aplciacion

jafera · #15 18-12-2008

Gracias Sick Boy y Angelholberg por vuestro interés, probaré la opción de Sick a ver si va mejor.
Angel, no estoy muy puesto en según que procesos, me podrías comentar algo más acerca de clonar?

Gracias

Josep

[Chris] · #16 18-12-2008

Hola Jafera. Prueba el siguiente código:

Código Delphi [-]procedure TF_Actualitza.BitBtn1Click(Sender: TObject);
var i:integer;
tmpQuery: TIBQuery;
begin
If RadioGroup1.ItemIndex=0 then
begin
  F_Confirmacio := TF_Confirmacio.Create(self);
  F_Confirmacio.Label1.Caption:= 'Aquesta acció actualitzarà el Master';
  F_Confirmacio.Label2.Caption:= 'general amb les noves dades';
  F_Confirmacio.Label3.Caption:= 'Estas segur?';

  if not (F_Confirmacio.ShowModal = mrok) then
    Abort;

end;

try
  tmpQuery := TIBQuery.Create(Selft);
  tmpQuery.SQL.Add('SELECT DNI FROM CU0001 WHERE DNI=NI_in_txt');
  F_ModulDades.MasterE.Close;
  F_ModulDades.MasterE.Open;
  F_ModulDades.Master.Close;
  F_ModulDades.Master.Open;
  F_ModulDades.MasterE.Last;
  Progressbar1.Max := F_ModulDades.MasterE.RecordCount;
  F_ModulDades.MasterE.First;

  while not F_ModulDades.MasterE.Eof do
  begin
    with tmpQuery do
    begin
    if not Active then
      Close;

    ParamByName('DNI_in_txt').AsInteger := F_ModulDades.MasterEC11.Value;

    if not Prepared then
      Prepare;

    Open;
    end;

    if tmpQuery.isEmpty then
      begin
      i:=F_ModulDades.MasterID_CORREDOR.Value+1;
      F_ModulDades.Master.Insert;
      F_ModulDades.MasterID_CORREDOR.Value:=i;
      end
    else
      begin
      F_ModulDades.Master.Edit;
      end;

    // código compartido para asignación de valores
    F_ModulDades.MasterNOM.Value:=F_ModulDades.MasterEC5.Value;
    F_ModulDades.MasterCOGNOM1.Value:=F_ModulDades.MasterEC6.Value;
    F_ModulDades.MasterCOGNOM2.Value:=F_ModulDades.MasterEC7.Value;
    F_ModulDades.MasterCODI_CAT.Value:=F_ModulDades.MasterEC8.Value;
    F_ModulDades.MasterNACIO.Value:=F_ModulDades.MasterEC9.Value;
    F_ModulDades.MasterLLICENCIA.Value:=F_ModulDades.MasterEC10.Value;
    F_ModulDades.MasterCODIUCI.Value:=F_ModulDades.MasterEC12.Value;
    F_ModulDades.MasterCLUB.Value:=F_ModulDades.MasterEC13.Value;
    F_ModulDades.MasterPUBLICITAT.Value:=F_ModulDades.MasterEC15.Value;
    F_Moduldades.Master.Post;

  Progressbar1.Position := F_ModulDades.MasterE.RecNo;
  F_ModulDades.MasterE.Next;
  end;
finally
  F_Confirmacio.Free;
  tmpQuery.Free;
  ShowMessage('Procés finalitzat');
end;
end;

No sé si valla a servirte, pues tu código es un algo complicado de entender si no tienes a mano la estructura de componentes y objetos de datos que estás utilizando. Sin embargo, creo que a pesar de todo, este código limpio y optimizado pueda ayudarte a ganar tiempo.

Saludos.

jafera · #17 18-12-2008

Gracias por el código.

Lo he probado y me manda un error de que el parametro DNI_txt no existe.
He puesto un punto de interrupcion y el valor de C11 si que coje el primer valor de la tabla, despues me dice que no encuentra el parametro y enseguida me dice que proceso acabado.

Josep

[Chris] · #18 19-12-2008

seguramente has perdido algo al copiar el código, pues el verdadero nombre del parámetro es "DNI_in_txt" (sin las comillas) no "DNI_txt"

Saludos.

Temas Similares
Tema	Autor	Foro	Respuestas	Último mensaje
Copiar el contenido de un DataSet a otro DataSet	Javi2	Varios	82	22-11-2022 10:26:16
Acceder a un DataSet desde otra unidad	SMTZ	.NET	5	24-12-2005 10:01:47
Acceder a un DataSet (.NET) desde otra Unidad	SMTZ	.NET	9	22-10-2005 18:10:40
Conectar a un DataSet de otro form.	DarkByte	Conexión con bases de datos	15	10-09-2004 17:27:58
Saber si un Tabla(dataset) esta siendo usado por otro componente	cacuna	OOP	3	26-05-2004 19:21:43