Inserción masiva en Firebird

[[fjcg02]]

Vamos centrando el tiro...

Cuantos registros/filas hay en tu csv?
Cuanto tardas en crear otro csv con la información preparada? Porqué lo guardas en memoria?
Puedes procesar cada registro e insertarlo de la misma? asi te ahorras duplicar la info. Poner una traza por si te falla para volver a cargar desde donde falla.

Insertar 100.000 registros no puede demorar más de 3 minutos.

Por cada fila del csv lanzas una SQL de INSERT tal y como te han indicado desde las primeras respuestas.

Abro el csv.
por cada fila que lea:
proceso o pongo la información en formato correcto.
hago INSERT de ese registro. Si la insert la tienes parametrizada, tarda menos, es decir, parametro1 = valor1, parametro2= valor2, etc ->
SqlInsert.Open; Creo que era asñi, ya no recuerdo la sintaxis
leo siguiente fila
hasta acabar

[ElDuc]

Michas gracias, creo que el problema era ADO, ahora lo estoy preparando para utilizar InteBase.

Lo primero que he observado es que trabaja directamente sobre la DB sin OCDB, me imagino que esto ya es un progreso.

Cuando haya probado el sistema con InterBase, hago un post. ( posiblemente mañana, porque ahora tengo que salir)

Repito muchas gracias.

[[duilioisola]]

Te dejo un ejemplo que funciona en Delphi 6 con los componentes Interbase.
La base de datos es Firebird 2.5

Es un bucle de 10.000 inserciones que se repite 10 veces (100.000 inserciones).
Este es el log (unos 30 segundos).

Es importante en las inserciones masivas no hacer commit por cada registro. En el ejemplo se realizan cada 10.000 inserciones. Debes ver cuál es el mejor intervalo para tus datos.

Log:
15:48:49 Inicio
15:48:52 Bucle 0
15:48:56 Bucle 1
15:48:59 Bucle 2
15:49:02 Bucle 3
15:49:05 Bucle 4
15:49:08 Bucle 5
15:49:11 Bucle 6
15:49:14 Bucle 7
15:49:17 Bucle 8
15:49:20 Bucle 9
15:49:20 Fin

En vez de los bucles, deberías modificarlo para recorrer el CSV calculando lo que necesites.
El SQL para el INSERT también deberás modificarlo según tus necesidades...

Código Delphi [-]
procedure TFMPruebas.BInsMasivaClick(Sender: TObject);
var
  IBDB: TIBDatabase;
  IBT: TIBTransaction;
  IBQ: TIBQuery;
  i, j: integer;
begin
  inherited;
  IBDB := TIBDatabase.Create(Self);
  IBT := TIBTransaction.Create(Self);
  try
     // Conexión a la base de datos
     IBDB.DatabaseName := '192.168.0.1:C:\Datos\Base.FDB';
     IBDB.DefaultTransaction := IBT;
     IBT.DefaultDatabase := IBDB;

     // Aquí te pedirá nombre de usuario y contraseña
     IBDB.Connected := True;

     // Inicio transaccion
     IBT.StartTransaction;

     IBQ := TIBQuery.Create(Self);
     try
       IBQ.DataBase := IBDB;
       IBQ.Transaction := IBT;

       // SQL para insertar los datos
       IBQ.SQL.Text := 'INSERT INTO TMP_TEMPORALES (NOMBRE, ENTRADA) VALUES (:NOMBRE, :ENTRADA)';

       MDebug.Lines.Add(FormatDateTime('hh:nn:ss', Now) + ' Inicio');
       for i := 0 to 9 do
       begin
         for j := 1 to 10000 do
         begin
           IBQ.Params.ParamByName('NOMBRE').AsString := IntToStr(i*10000 + j);
           IBQ.Params.ParamByName('ENTRADA').AsInteger := i*10000 + j;
           IBQ.ExecSQL;
         end;

         // Hago commit de la transaccion cada 10000 registros.
         IBQ.Transaction.Commit;
         IBQ.Transaction.StartTransaction;
         MDebug.Lines.Add(FormatDateTime('hh:nn:ss', Now) + ' Bucle '+IntToStr(i));
       end;
       MDebug.Lines.Add(FormatDateTime('hh:nn:ss', Now) + ' Fin');
     finally
       IBQ.Free;
     end;
  finally
    IBDB.Free;
    IBT.Free;
  end;
end;

[ElDuc]

Hola otra vez, ya he preparado el trabajo con InterBase.

Asigno Valores

Código Delphi [-]
IBQuery.Params.ParamByName('Id').AsLargeInt := Template.Id;

Son 29 campos y la asignación de valores a los parámetros se realiza si problemas, pero al hacer

Código Delphi [-]
IBQuery.ExecSQL;

Me da un error = "Attempt to get information about an unprepared dynamic SQL statement"

Alguna idea de lo que estoy haciendo mal?

[ElDuc]

Tengo algunos campos que en la DB son de tipo Char(1) y en mi aplicación son de tipo AnsiChar.

Para pasar el valor lo ago con AsAnsiString=AnsiChar, no sé si es correcto

La otra duda es que el Id en mi aplicación es de tipo Int64 y en la DB es de tipo BigInt

Para pasar el valor lo ago con AsLargeInt=Int64.

No sé si el error puede estar aquí?

[Casimiro Notevi]

Por favor, pon el código

[ElDuc]

Antes de empezar a leer del archivo fuente *.csv:

Código Delphi [-]
IBTransaction.StartTransaction;
IBQuery.SQL.Text := 'INSERT INTO Templates (Id, Value1, Value2, Value3'+//
  ' VALUES (:Id, :Value1, :Value2, :Value3)';

Donde:
Id en Delphi es de tipo Int64 y en DB BigInt
Value1 en Delphi es de tipo AnsiChar y en DB Char(1)
Value2 en Delphi es de tipo SmallInt y en DB También
Value3 en Delphi es de tipo Boolean y en DB también

En Delphi estos campos se agrupan en un Record.

En cada inserción:

Código Delphi [-]
IBQuery.Params.ParamByName('Id').AsLargeInt := MyRecord.Id;
IBQuery.Params.ParamByName('Value1').AsAnsiString := MyRecord.Value1;
IBQuery.Params.ParamByName('Value2').AsAnsiString := MyRecord.Value2;
IBQuery.Params.ParamByName('Value3').AsAnsiString := MyRecord.Value3;
IBQuery.ExecSQL;

Pongo un BreakPoint en la primera asignación, no da ningún error hasta llegar a ExecSQL.

[[duilioisola]]

Con respecto a los tipos de dato yo no me preocupo mucho.
El componente de Delphi hará las conversiones necesarias.

Todos los enteros (smallint, integer, bigint) .AsInteger
Todos los textos (char(), varchar()) .AsString
Todos las fechas (date, time, ...) .AsDateTime
Todos los decimales (double precision, numeric(x,x), ...) .AsFloat

Para trabajar con booleanos en Firebird 2.5 debes tratarlos como un smallint con valores (0,1) o como un char/varchar() con valores ('S','N')
Por lo tanto deberás hacer la conversión necesaria

Código Delphi [-]
function BoolToInt(Value: boolean) : integer;
begin
  if Value then
    Result := 1
  else
    Result := 0;
end;

BQuery.Params.ParamByName('Id').AsInteger := MyRecord.Id; // Bigint
IBQuery.Params.ParamByName('Value1').AsString := MyRecord.Value1; // varchar()
IBQuery.Params.ParamByName('Value2').AsInteger := MyRecord.Value2; // smallint
IBQuery.Params.ParamByName('Value3').AsInteger := BoolToInt(MyRecord.Value3); // smallint (0,1)

[ElDuc]

Gracias Casimiro, lo pruebo todo y te comento.

Buen finde.

[[duilioisola]]

Prueba a poner una línea para que ejecute Prepare a propósito.

Código Delphi [-]
IBTransaction.StartTransaction;
IBQuery.SQL.Text := 'INSERT INTO Templates (Id, Value1, Value2, Value3'+//
  ' VALUES (:Id, :Value1, :Value2, :Value3)';
IBQuery.Prepare;

Deberás ponerlo después de cada StartTransaction o después de cada vez que cambie el SQL del Query.