Club Delphi  
    FTP   CCD     Buscar   Trucos   Trabajo   Foros

Retroceder   Foros Club Delphi > Principal > Conexión con bases de datos
Registrarse FAQ Miembros Calendario Guía de estilo Temas de Hoy

Conexión con bases de datos

Respuesta
 
Herramientas Buscar en Tema Desplegado
  #21  
Antiguo 25-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Memoria RAM = 16 GB
Windows 10
SO 64bits
Disco SSD 1TB

Pero no almaceno los registros en mi aplicació, ya que una vez generados los guardo en la base de datos.
Responder Con Cita
  #22  
Antiguo 25-04-2023
Avatar de Casimiro Notevi
Casimiro Notevi Casimiro Notevi is offline
Moderador
 
Registrado: sep 2004
Ubicación: En algún lugar.
Posts: 32.257
Poder: 10
Casimiro Notevi Tiene un aura espectacularCasimiro Notevi Tiene un aura espectacular
Si están en memoria en un "TRecord" y dices que son 500 GB... ¿no serán 500 MB?
Es que con 500 GB ni siquiera puedes usar ese disco de 1 TB
Bueno, a lo que vamos, ahora sí lo tenemos bastante claro para ayudar
Y ya digo, con IBX. Dentro de un rato preparo un simple código para lo que quieres.
Responder Con Cita
  #23  
Antiguo 25-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Muchísimas gracias, ya que nunca he trabajado con InterBase.
Responder Con Cita
  #24  
Antiguo 25-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
En memoria sólo tengo un Record de 80Byte.

Éste es el que debo generar (siempre el mismo) y guardar en la DB.

Cuando termine el proceso, calculo que la DB ocupará 500GB.
Responder Con Cita
  #25  
Antiguo 25-04-2023
Avatar de fjcg02
[fjcg02] fjcg02 is offline
Miembro Premium
 
Registrado: dic 2003
Ubicación: Zamudio
Posts: 1.412
Poder: 22
fjcg02 Va camino a la fama
Vamos centrando el tiro...

Cuantos registros/filas hay en tu csv?
Cuanto tardas en crear otro csv con la información preparada? Porqué lo guardas en memoria?
Puedes procesar cada registro e insertarlo de la misma? asi te ahorras duplicar la info. Poner una traza por si te falla para volver a cargar desde donde falla.

Insertar 100.000 registros no puede demorar más de 3 minutos.

Por cada fila del csv lanzas una SQL de INSERT tal y como te han indicado desde las primeras respuestas.

Abro el csv.
por cada fila que lea:
proceso o pongo la información en formato correcto.
hago INSERT de ese registro. Si la insert la tienes parametrizada, tarda menos, es decir, parametro1 = valor1, parametro2= valor2, etc ->
SqlInsert.Open; Creo que era asñi, ya no recuerdo la sintaxis
leo siguiente fila
hasta acabar
__________________
Cuando los grillos cantan, es que es de noche - viejo proverbio chino -
Responder Con Cita
  #26  
Antiguo 25-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Michas gracias, creo que el problema era ADO, ahora lo estoy preparando para utilizar InteBase.

Lo primero que he observado es que trabaja directamente sobre la DB sin OCDB, me imagino que esto ya es un progreso.

Cuando haya probado el sistema con InterBase, hago un post. ( posiblemente mañana, porque ahora tengo que salir)

Repito muchas gracias.
Responder Con Cita
  #27  
Antiguo 25-04-2023
Avatar de duilioisola
[duilioisola] duilioisola is offline
Miembro Premium
 
Registrado: ago 2007
Ubicación: Barcelona, España
Posts: 1.757
Poder: 21
duilioisola Es un diamante en brutoduilioisola Es un diamante en brutoduilioisola Es un diamante en bruto
Te dejo un ejemplo que funciona en Delphi 6 con los componentes Interbase.
La base de datos es Firebird 2.5

Es un bucle de 10.000 inserciones que se repite 10 veces (100.000 inserciones).
Este es el log (unos 30 segundos).

Es importante en las inserciones masivas no hacer commit por cada registro. En el ejemplo se realizan cada 10.000 inserciones. Debes ver cuál es el mejor intervalo para tus datos.

Código:
Log:
15:48:49 Inicio
15:48:52 Bucle 0
15:48:56 Bucle 1
15:48:59 Bucle 2
15:49:02 Bucle 3
15:49:05 Bucle 4
15:49:08 Bucle 5
15:49:11 Bucle 6
15:49:14 Bucle 7
15:49:17 Bucle 8
15:49:20 Bucle 9
15:49:20 Fin
En vez de los bucles, deberías modificarlo para recorrer el CSV calculando lo que necesites.
El SQL para el INSERT también deberás modificarlo según tus necesidades...

Código Delphi [-]
procedure TFMPruebas.BInsMasivaClick(Sender: TObject);
var
  IBDB: TIBDatabase;
  IBT: TIBTransaction;
  IBQ: TIBQuery;
  i, j: integer;
begin
  inherited;
  IBDB := TIBDatabase.Create(Self);
  IBT := TIBTransaction.Create(Self);
  try
     // Conexión a la base de datos
     IBDB.DatabaseName := '192.168.0.1:C:\Datos\Base.FDB';
     IBDB.DefaultTransaction := IBT;
     IBT.DefaultDatabase := IBDB;

     // Aquí te pedirá nombre de usuario y contraseña
     IBDB.Connected := True;

     // Inicio transaccion
     IBT.StartTransaction;

     IBQ := TIBQuery.Create(Self);
     try
       IBQ.DataBase := IBDB;
       IBQ.Transaction := IBT;

       // SQL para insertar los datos
       IBQ.SQL.Text := 'INSERT INTO TMP_TEMPORALES (NOMBRE, ENTRADA) VALUES (:NOMBRE, :ENTRADA)';

       MDebug.Lines.Add(FormatDateTime('hh:nn:ss', Now) + ' Inicio');
       for i := 0 to 9 do
       begin
         for j := 1 to 10000 do
         begin
           IBQ.Params.ParamByName('NOMBRE').AsString := IntToStr(i*10000 + j);
           IBQ.Params.ParamByName('ENTRADA').AsInteger := i*10000 + j;
           IBQ.ExecSQL;
         end;

         // Hago commit de la transaccion cada 10000 registros.
         IBQ.Transaction.Commit;
         IBQ.Transaction.StartTransaction;
         MDebug.Lines.Add(FormatDateTime('hh:nn:ss', Now) + ' Bucle '+IntToStr(i));
       end;
       MDebug.Lines.Add(FormatDateTime('hh:nn:ss', Now) + ' Fin');
     finally
       IBQ.Free;
     end;
  finally
    IBDB.Free;
    IBT.Free;
  end;
end;
Responder Con Cita
  #28  
Antiguo 27-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Hola otra vez, ya he preparado el trabajo con InterBase.

Asigno Valores
Código Delphi [-]
IBQuery.Params.ParamByName('Id').AsLargeInt := Template.Id;

Son 29 campos y la asignación de valores a los parámetros se realiza si problemas, pero al hacer

Código Delphi [-]
IBQuery.ExecSQL;

Me da un error = "Attempt to get information about an unprepared dynamic SQL statement"

Alguna idea de lo que estoy haciendo mal?
Responder Con Cita
  #29  
Antiguo 27-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Tengo algunos campos que en la DB son de tipo Char(1) y en mi aplicación son de tipo AnsiChar.

Para pasar el valor lo ago con AsAnsiString=AnsiChar, no sé si es correcto

La otra duda es que el Id en mi aplicación es de tipo Int64 y en la DB es de tipo BigInt

Para pasar el valor lo ago con AsLargeInt=Int64.

No sé si el error puede estar aquí?
Responder Con Cita
  #30  
Antiguo 27-04-2023
Avatar de Casimiro Notevi
Casimiro Notevi Casimiro Notevi is offline
Moderador
 
Registrado: sep 2004
Ubicación: En algún lugar.
Posts: 32.257
Poder: 10
Casimiro Notevi Tiene un aura espectacularCasimiro Notevi Tiene un aura espectacular
Por favor, pon el código
Responder Con Cita
  #31  
Antiguo 27-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Antes de empezar a leer del archivo fuente *.csv:
Código Delphi [-]
IBTransaction.StartTransaction;
IBQuery.SQL.Text := 'INSERT INTO Templates (Id, Value1, Value2, Value3'+//
  ' VALUES (:Id, :Value1, :Value2, :Value3)';

Donde:
Id en Delphi es de tipo Int64 y en DB BigInt
Value1 en Delphi es de tipo AnsiChar y en DB Char(1)
Value2 en Delphi es de tipo SmallInt y en DB También
Value3 en Delphi es de tipo Boolean y en DB también

En Delphi estos campos se agrupan en un Record.

En cada inserción:
Código Delphi [-]
IBQuery.Params.ParamByName('Id').AsLargeInt := MyRecord.Id;
IBQuery.Params.ParamByName('Value1').AsAnsiString := MyRecord.Value1;
IBQuery.Params.ParamByName('Value2').AsAnsiString := MyRecord.Value2;
IBQuery.Params.ParamByName('Value3').AsAnsiString := MyRecord.Value3;
IBQuery.ExecSQL;

Pongo un BreakPoint en la primera asignación, no da ningún error hasta llegar a ExecSQL.
Responder Con Cita
  #32  
Antiguo 27-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Perdona es:

Código Delphi [-]
IBQuery.Params.ParamByName('Id').AsLargeInt := MyRecord.Id;
IBQuery.Params.ParamByName('Value1').AsAnsiString := MyRecord.Value1;
IBQuery.Params.ParamByName('Value2').AsSmaillInt := MyRecord.Value2;
IBQuery.Params.ParamByName('Value3').AsBoolean := MyRecord.Value3;
IBQuery.ExecSQL;
Responder Con Cita
  #33  
Antiguo 27-04-2023
Avatar de mamcx
mamcx mamcx is offline
Moderador
 
Registrado: sep 2004
Ubicación: Medellín - Colombia
Posts: 3.927
Poder: 26
mamcx Tiene un aura espectacularmamcx Tiene un aura espectacularmamcx Tiene un aura espectacular
Y el record?
__________________
El malabarista.
Responder Con Cita
  #34  
Antiguo 27-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Perdona.

Código Delphi [-]
    MyRecord:Record
        Id:Int64;
        Value1:AnsiChar;
        Value2:SmallInt;
        Value3:Boolean;
    End;
Responder Con Cita
  #35  
Antiguo 27-04-2023
Avatar de Casimiro Notevi
Casimiro Notevi Casimiro Notevi is offline
Moderador
 
Registrado: sep 2004
Ubicación: En algún lugar.
Posts: 32.257
Poder: 10
Casimiro Notevi Tiene un aura espectacularCasimiro Notevi Tiene un aura espectacular
Lo de leer el .csv y pasarlo a un record y luego del record a la base de datos... es un paso que te puedes ahorrar perfectamente.
Lo lees del csv y lo guardas en la BD, nada más.
Código Delphi [-]
procedure TForm1.Button1Click(Sender: TObject);
var
  csvFile: TStringList;
  line: string;
  fields: TStringList;
  i: Integer;
begin
  csvFile := TStringList.Create;
  fields := TStringList.Create;
  try
    csvFile.LoadFromFile('C:\ruta\archivo.csv');
    IBTransaction1.StartTransaction;
    IBDataSet1.Transaction := IBTransaction1;
    IBDataSet1.Open;
    try
      for i := 0 to csvFile.Count - 1 do
      begin
        line := csvFile[i];
        fields.CommaText := line;
        IBDataSet1.Insert;
        IBDataSet1.FieldByName('campo1').Value := fields[0];
        IBDataSet1.FieldByName('campo2').Value := fields[1];
        IBDataSet1.FieldByName('campo3').Value := fields[2];
        // ...
        // Aquí puedes hacer los procesos que necesitas con algunos datos
        // ...
        IBDataSet1.Post;
      end;
      IBTransaction1.Commit;
      ShowMessage('Registros insertados correctamente.');
    except
      on E: Exception do
      begin
        IBTransaction1.Rollback;
        ShowMessage('Error al insertar registros: ' + E.Message);
      end;
    end;
  finally
    csvFile.Free;
    fields.Free;
  end;
end;
Este código carga el archivo CSV en un objeto TStringList, luego abre una transacción y un conjunto de datos utilizando los componentes IBTransaction y IBDataSet, respectivamente. Luego, itera sobre cada línea del archivo CSV y separa los campos utilizando el método CommaText del objeto TStringList. Finalmente, inserta cada registro en la base de datos utilizando el método Insert y asignando los valores de los campos correspondientes.
Responder Con Cita
  #36  
Antiguo 27-04-2023
Avatar de duilioisola
[duilioisola] duilioisola is offline
Miembro Premium
 
Registrado: ago 2007
Ubicación: Barcelona, España
Posts: 1.757
Poder: 21
duilioisola Es un diamante en brutoduilioisola Es un diamante en brutoduilioisola Es un diamante en bruto
Prueba a poner una línea para que ejecute Prepare a propósito.

Código Delphi [-]
IBTransaction.StartTransaction;
IBQuery.SQL.Text := 'INSERT INTO Templates (Id, Value1, Value2, Value3'+//
  ' VALUES (:Id, :Value1, :Value2, :Value3)';
IBQuery.Prepare;

Deberás ponerlo después de cada StartTransaction o después de cada vez que cambie el SQL del Query.
Responder Con Cita
  #37  
Antiguo 27-04-2023
Avatar de duilioisola
[duilioisola] duilioisola is offline
Miembro Premium
 
Registrado: ago 2007
Ubicación: Barcelona, España
Posts: 1.757
Poder: 21
duilioisola Es un diamante en brutoduilioisola Es un diamante en brutoduilioisola Es un diamante en bruto
Con respecto a los tipos de dato yo no me preocupo mucho.
El componente de Delphi hará las conversiones necesarias.

Todos los enteros (smallint, integer, bigint) .AsInteger
Todos los textos (char(), varchar()) .AsString
Todos las fechas (date, time, ...) .AsDateTime
Todos los decimales (double precision, numeric(x,x), ...) .AsFloat

Para trabajar con booleanos en Firebird 2.5 debes tratarlos como un smallint con valores (0,1) o como un char/varchar() con valores ('S','N')
Por lo tanto deberás hacer la conversión necesaria


Código Delphi [-]
function BoolToInt(Value: boolean) : integer;
begin
  if Value then
    Result := 1
  else
    Result := 0;
end;

BQuery.Params.ParamByName('Id').AsInteger := MyRecord.Id; // Bigint
IBQuery.Params.ParamByName('Value1').AsString := MyRecord.Value1; // varchar()
IBQuery.Params.ParamByName('Value2').AsInteger := MyRecord.Value2; // smallint
IBQuery.Params.ParamByName('Value3').AsInteger := BoolToInt(MyRecord.Value3); // smallint (0,1)
Responder Con Cita
  #38  
Antiguo 28-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Gracias Casimiro, lo pruebo todo y te comento.

Buen finde.
Responder Con Cita
  #39  
Antiguo 29-04-2023
ElDuc ElDuc is offline
Miembro
 
Registrado: jul 2004
Posts: 197
Poder: 21
ElDuc Va por buen camino
Bueno Casimiro, estoy a punto de tirar la toalla.

He creado una tabla en una DB Firebird con la siguiente estructura.

Código SQL [-]
CREATE TABLE PRUEBAS (
  ID BIGINT DEFAULT 0 NOT NULL,
  MYINT INTEGER DEFAULT 0 NOT NULL,
  MYFLOAT FLOAT DEFAULT 0 NOT NULL,
  MYBOOL BOOLEAN DEFAULT 'FALSE' NOT NULL,
  MYSTRING CHAR(1) DEFAULT '!' NOT NULL);

Y he implementado un nuevo proyecto Delphi 2010, copiando, pegando y adaptando tu última recomendación.

Código Delphi [-]
Procedure TForm2.Button2Click(Sender:TObject);
Var
    IBDB:TIBDatabase;
    IBT:TIBTransaction;
    IBQ:TIBQuery;
    I, J:Integer;
Begin
Inherited;
IBDB := TIBDatabase.Create(Self);
IBT := TIBTransaction.Create(Self);
Try
    // Conexión a la base de datos
    IBDB.DatabaseName := 'D:\IKDB.GDB';
    IBDB.DefaultTransaction := IBT;
    IBT.DefaultDatabase := IBDB;

    // Aquí te pedirá nombre de usuario y contraseña
    IBDB.Connected := True;

    // Inicio transaccion
    IBT.StartTransaction;

    IBQ := TIBQuery.Create(Self);
    Try
        IBQ.DataBase := IBDB;
        IBQ.Transaction := IBT;

        // SQL para insertar los datos
        IBQ.SQL.Text := 'INSERT INTO Pruebas (Id, MyInt, MyFoat, MyBool, MyString) VALUES (:Id, :MyInt, :MyFloat, :MyBool, :MyString)';

        For I := 0 To 9 Do
            Begin
            For J := 1 To 10000 Do
                Begin
                IBQ.Params.ParamByName('Id').AsLargeInt := I * 10000 + J;
                IBQ.Params.ParamByName('MyInt').AsInteger := Random(1000);
                IBQ.Params.ParamByName('MyFloat').AsFloat := Random * 1000;
                IBQ.Params.ParamByName('MyBool').AsBoolean := Random(2) = 1;
                IBQ.Params.ParamByName('MyString').AsString := Char(Random(25) + 65);
                IBQ.ExecSQL;      <<<<<<<<< Aquí me este error:  'Attempt to get information about an unprepared dynamic SQL statement'
                End;

            // Hago commit de la transaccion cada 10000 registros.
            IBQ.Transaction.Commit;
            IBQ.Transaction.StartTransaction;
            End;

    Finally
        IBQ.Free;
    End;
    IBT.Free;
    IBDB.Free;
Except
    On E:Exception Do
        ShowMessage('ERROR ' + E.Message);
End;
End;

Cómo puedes ver en el código he añadido un indicador <<<<<<<<<<< dónde y qué error me da.

Si puedes mirarlo y decirme done lo hago mal, te lo agradeceré infinito.
Responder Con Cita
  #40  
Antiguo 29-04-2023
Avatar de Casimiro Notevi
Casimiro Notevi Casimiro Notevi is offline
Moderador
 
Registrado: sep 2004
Ubicación: En algún lugar.
Posts: 32.257
Poder: 10
Casimiro Notevi Tiene un aura espectacularCasimiro Notevi Tiene un aura espectacular
Veamos, esto es fácil, te he preparado un sencillo proyecto y te lo adjunto aquí.
No sé qué versión usas de firebird, yo ahora mismo tengo la 2.5 y no existen los campos boolean, así que utilizo integer con 0/1 (0=false 1=true)
Código:
CREATE TABLE PRUEBAS (
  ID BIGINT DEFAULT 0 NOT NULL,
  MYINT INTEGER DEFAULT 0 NOT NULL,
  MYFLOAT FLOAT DEFAULT 0 NOT NULL,
  MYBOOL integer DEFAULT 0 NOT NULL,
  MYSTRING CHAR(1) DEFAULT '!' NOT NULL);
Luego, en el proyecto te he corregido algunas cosas y en lugar de crear dinámicamente los componentes, los he creado en tiempo de diseño.
Fíjate en los parámetros del IBDatabase y en los del IBTransaction.
El IBDatabase le pongo la propiedad "login prompt" a false, para que no pregunte el password cada vez.

Código:
user_name=sysdba
password=masterkey
Y los parámetros del IBTransaction, elijo "Read commited" y automáticamente se rellenan estos parámetros:

Código:
read_committed
rec_version
nowait
Conecto a la BD en el oncreate y desconecto en el onclose. El código es este:

Código Delphi [-]
unit Unit2;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, IBDatabase, IBQuery, IBSQL, DB, IBCustomDataSet;

type
  TForm2 = class(TForm)
    Button1: TButton;
    IBDatabase1: TIBDatabase;
    IBTransaction1: TIBTransaction;
    IBQuery1: TIBQuery;
    procedure Button1Click(Sender: TObject);
    procedure FormCreate(Sender: TObject);
    procedure FormClose(Sender: TObject; var Action: TCloseAction);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form2: TForm2;

implementation

{$R *.dfm}

procedure TForm2.Button1Click(Sender: TObject);
Var
  I, J:Integer;
  dIni, dFin : Double;
Begin
  dIni := now();
   
  IBQuery1.Close;
  IBQuery1.SQL.Text := 'INSERT INTO Pruebas (Id, MyInt, MyFloat, MyBool, MyString) VALUES (:Id, :MyInt, :MyFloat, :MyBool, :MyString)';
  IBQuery1.Prepare;
  try
    For I := 0 To 9 Do
    Begin
      For J := 1 To 10000 Do
      Begin
        IBQuery1.Params.ParamByName('id').AsInteger := i *10000 +j;
        IBQuery1.Params.ParamByName('MyInt').AsInteger := Random(1000);
        IBQuery1.Params.ParamByName('MyFloat').AsFloat := Random * 1000;
        IBQuery1.Params.ParamByName('MyBool').AsInteger := Random(2);
        IBQuery1.Params.ParamByName('MyString').AsString := Char(Random(25) + 65);
        IBQuery1.ExecSQL;
      End;
      IBQuery1.Transaction.CommitRetaining;
    end;
  finally
    dFin := now();
  end;

  ShowMessage( FloatToStr(dFin-dIni) );

End;

procedure TForm2.FormClose(Sender: TObject; var Action: TCloseAction);
begin
  if IBTransaction1.InTransaction then
    IBTransaction1.Commit;
  IBTransaction1.Active:=False;
  IBDatabase1.Close;
end;

procedure TForm2.FormCreate(Sender: TObject);
begin
  IBDatabase1.Connected:=true;
  IBTransaction1.Active:=true;
end;

end.
Y si lo ejecutas, obviamente, esto es una broma para firebird, en mi equipo tarda menos de 2 segundos.
Archivos Adjuntos
Tipo de Archivo: zip test.zip (1,70 MB, 1 visitas)
Responder Con Cita
Respuesta



Normas de Publicación
no Puedes crear nuevos temas
no Puedes responder a temas
no Puedes adjuntar archivos
no Puedes editar tus mensajes

El código vB está habilitado
Las caritas están habilitado
Código [IMG] está habilitado
Código HTML está deshabilitado
Saltar a Foro

Temas Similares
Tema Autor Foro Respuestas Último mensaje
Insercion masiva desde Paradox a Firebird MartinS SQL 5 22-12-2011 15:55:10
insercion masiva Alfredo Firebird e Interbase 3 12-11-2008 21:34:46
Insercion masiva de una BD a otra BD oscjae Firebird e Interbase 5 15-12-2006 21:25:49
Insercion masiva de registros MUY LENTA Balda Firebird e Interbase 10 24-03-2004 22:40:21
Inserción masiva en MySQL Morfo MySQL 3 09-01-2004 19:05:33


La franja horaria es GMT +2. Ahora son las 01:53:45.


Powered by vBulletin® Version 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Traducción al castellano por el equipo de moderadores del Club Delphi
Copyright 1996-2007 Club Delphi