Insert masivo de datos, cada vez mas lento

[[maeyanes]]

Hola...

Yo te recomiendo que los commits lo hagas cada n inserciones, no después de cada una. Yo cuando he tenido que importar grandes cantidades de datos a una base de datos hago los commits cada 500 registros.


Saludos...

[Casimiro Notevi]

Empezado por maeyanes

Hola...
Yo te recomiendo que los commits lo hagas cada n inserciones, no después de cada una. Yo cuando he tenido que importar grandes cantidades de datos a una base de datos hago los commits cada 500 registros.
Saludos...

Por supuesto, hacerlo cada registro es una pérdida tremenda de tiempo.

[papote654]

He realizado las pruebas con las recomendaciones que me han hecho pero la verdad, para mi sorpresa insertando todo de una vez es mas rapido que hacerlo por lotes. El codigo es este.

el archivo esta compuesto por datos como este.

esa primera parte hasta el simbolo > es la condicion para poder validar si el registro existe, hago esto al momento de exportar ya que se supone que esos valores talvez no existan en la tabla destino.

WHERE Se_codigo_pais = '187' AND Se_codigo_ciudad = '3323' AND Se_codigo = '5'>'5','3323','187','VILLA DUARTE'

Código Delphi [-]
Procedure Tfrm_configuracion.Importar;
Var
   F: TextFile;
   sLinea: String;
   sArchivo, DatosInsert, Tabla, varValidaExiste, Condicion: String;
   SR: TSearchRec;
Begin
   //ruta de los archivos
   sArchivo := varRutaArchivo;

   DatosInsert := '';
   varValidaExiste := '';

   //busca todos los archivos de la carpeta definida
   If FindFirst(sArchivo + '\*.txt', faArchive, SR) = 0 Then
      Begin
         //recorre los archivos de la carpeta
         Repeat

            //asigna el archivo
            AssignFile(F, sArchivo + '\' + SR.Name);

            //abro el archivo
            Reset(F);

            //captura el nombre real de la tabla
            Tabla := FtNombreTabla(copy(SR.Name, 18, 100));

            //busca los campos del servidor de destino
            Buscar_Campos(Tabla, servidor_destino);

            While Not Eof(F) Do
               Begin
                  //recorre los datos del archivo
                  ReadLn(F, sLinea);

                  Condicion := ftCondicion(sLinea);

                  //construyo el insert
                  varValidaExiste := 'IF EXISTS(SELECT 1 FROM ' + Tabla + ' ' + Condicion + ') DELETE FROM ' + Tabla + ' ' + Condicion;

                  DatosInsert := DatosInsert + varValidaExiste + ' INSERT INTO ' + Tabla + '(' + CamposOrdenados + ')' + ' VALUES(' + Copy(sLinea, PosicionesCondicion, Length(sLinea)) + ')';
               End;

            //inserta datos en la tabla de destino.
            Inserta_datos(DatosInsert);

            //cierra el archivo
            CloseFile(F);

            //muevo el archivo a otra carpeta de backup
            MoveFile(PChar(varRutaArchivo + '\' + SR.Name), PChar(varRutaBackup + '\' + SR.Name));

         Until FindNext(SR) <> 0; //cuando termine de recorrer los archivos de la carpeta

         //cierra el fichero de la carpeta donde estan los archivos
         FindClose(SR);
      End;
End;

Procedure Tfrm_configuracion.Inserta_datos(DatosInsert: String);
Var
   Qry: TADOQuery;
Begin
   Qry := TADOQuery.Create(Self);

   Qry.Connection := servidor_destino;

   With Qry, SQL Do
      Begin
         Close;
         Clear;
         Add(DatosInsert);
         ExecSQL;
      End;

   Qry.free;
End;

[Casimiro Notevi]

Creo que ganarás más tiempo si usas parámetros en lugar de componer la sentencia, más o menos, algo parecido a este ejemplo:

Código Delphi [-]
dataset.close;
dataset.sql.text:='insert into tabla values :campo1, :campo2, campo3';
dataset.prepare;

while not eof(loquesea) do
begin
  dataset.paramsbyname('campo1').value := loquesea;
  dataset.paramsbyname('campo2').value := otroloquesea;
  dataset.paramsbyname('campo3').value := algoloquesea;
  dataset.execquery;
end;
dataset.transaction.commit;

[sinalocarlos]

Ademas de las recomendaciones que te han hecho, una forma de identificar problemas es revisando del lado del servidor de SQL que esta pasando, para ello esta el profiler, crea una traza con el template Standar y vigila que se esta mandando desde tu programa.

Te lo comento porque a mi me paso algo por el estilo, después de volver a escribir media librería me di cuenta de que no estaba limpiando la propiedad SQL, por que lo que en realidad estaba enviando un acumulado de inserts cada vez

[[Lepe]]

Y por supuesto no crees una consulta por cada inserción.

Crea la consulta en Importar y pásala por parámetro a Inserta_datos. Después la destruyes al finalizar Importar.

Si a eso le añades los parámetros que dice Casimiro, mucho mejor.

También voto hacer el commit cada 500 registros.

Saludos.

[[gatosoft]]

Yo tengo dos recomendaciones...

primera cambiar la forma de lectura dle archivo ... (Assignfile, Reset, etc) cargandolo en un StringList mediante StringList1.LoadFromfile()... creo que es mas rápido


Lo segundo es mirar otra alternativa de carga... si trabajas con MS SQL puedes valerte de la funcionalidad "BULK INSERT" ... puedes mirar la documentación de M$ o puedes buscar en google en los foros y páginas de otras personas....

Tiene una "limitante" y es que la ruta que defines para el cargue del archivo debe estar en el servidor del motor...

Código SQL [-]
BULK INSERT TmpTabla FROM 'c:\ArchivoEnElServidorDeBD.txt' WITH (FIELDTERMINATOR = '","')

Un saludo,