FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
Registrarse | FAQ | Miembros | Calendario | Guía de estilo | Temas de Hoy |
|
Herramientas | Buscar en Tema | Desplegado |
#21
|
|||
|
|||
Memoria RAM = 16 GB
Windows 10 SO 64bits Disco SSD 1TB Pero no almaceno los registros en mi aplicació, ya que una vez generados los guardo en la base de datos. |
#22
|
||||
|
||||
Si están en memoria en un "TRecord" y dices que son 500 GB... ¿no serán 500 MB?
Es que con 500 GB ni siquiera puedes usar ese disco de 1 TB Bueno, a lo que vamos, ahora sí lo tenemos bastante claro para ayudar Y ya digo, con IBX. Dentro de un rato preparo un simple código para lo que quieres.
__________________
La otra guía de estilo | Búsquedas avanzadas | Etiquetas para código | Colabora mediante Paypal |
#23
|
|||
|
|||
Muchísimas gracias, ya que nunca he trabajado con InterBase.
|
#24
|
|||
|
|||
En memoria sólo tengo un Record de 80Byte.
Éste es el que debo generar (siempre el mismo) y guardar en la DB. Cuando termine el proceso, calculo que la DB ocupará 500GB. |
#25
|
||||
|
||||
Vamos centrando el tiro...
Cuantos registros/filas hay en tu csv? Cuanto tardas en crear otro csv con la información preparada? Porqué lo guardas en memoria? Puedes procesar cada registro e insertarlo de la misma? asi te ahorras duplicar la info. Poner una traza por si te falla para volver a cargar desde donde falla. Insertar 100.000 registros no puede demorar más de 3 minutos. Por cada fila del csv lanzas una SQL de INSERT tal y como te han indicado desde las primeras respuestas. Abro el csv. por cada fila que lea: proceso o pongo la información en formato correcto. hago INSERT de ese registro. Si la insert la tienes parametrizada, tarda menos, es decir, parametro1 = valor1, parametro2= valor2, etc -> SqlInsert.Open; Creo que era asñi, ya no recuerdo la sintaxis leo siguiente fila hasta acabar
__________________
Cuando los grillos cantan, es que es de noche - viejo proverbio chino - |
#26
|
|||
|
|||
Michas gracias, creo que el problema era ADO, ahora lo estoy preparando para utilizar InteBase.
Lo primero que he observado es que trabaja directamente sobre la DB sin OCDB, me imagino que esto ya es un progreso. Cuando haya probado el sistema con InterBase, hago un post. ( posiblemente mañana, porque ahora tengo que salir) Repito muchas gracias. |
#27
|
||||
|
||||
Te dejo un ejemplo que funciona en Delphi 6 con los componentes Interbase.
La base de datos es Firebird 2.5 Es un bucle de 10.000 inserciones que se repite 10 veces (100.000 inserciones). Este es el log (unos 30 segundos). Es importante en las inserciones masivas no hacer commit por cada registro. En el ejemplo se realizan cada 10.000 inserciones. Debes ver cuál es el mejor intervalo para tus datos. Código:
Log: 15:48:49 Inicio 15:48:52 Bucle 0 15:48:56 Bucle 1 15:48:59 Bucle 2 15:49:02 Bucle 3 15:49:05 Bucle 4 15:49:08 Bucle 5 15:49:11 Bucle 6 15:49:14 Bucle 7 15:49:17 Bucle 8 15:49:20 Bucle 9 15:49:20 Fin El SQL para el INSERT también deberás modificarlo según tus necesidades...
|
#28
|
|||
|
|||
Hola otra vez, ya he preparado el trabajo con InterBase.
Asigno Valores
Son 29 campos y la asignación de valores a los parámetros se realiza si problemas, pero al hacer
Me da un error = "Attempt to get information about an unprepared dynamic SQL statement" Alguna idea de lo que estoy haciendo mal? |
#29
|
|||
|
|||
Tengo algunos campos que en la DB son de tipo Char(1) y en mi aplicación son de tipo AnsiChar.
Para pasar el valor lo ago con AsAnsiString=AnsiChar, no sé si es correcto La otra duda es que el Id en mi aplicación es de tipo Int64 y en la DB es de tipo BigInt Para pasar el valor lo ago con AsLargeInt=Int64. No sé si el error puede estar aquí? |
#30
|
||||
|
||||
Por favor, pon el código
__________________
La otra guía de estilo | Búsquedas avanzadas | Etiquetas para código | Colabora mediante Paypal |
#31
|
|||
|
|||
Antes de empezar a leer del archivo fuente *.csv:
Donde: Id en Delphi es de tipo Int64 y en DB BigInt Value1 en Delphi es de tipo AnsiChar y en DB Char(1) Value2 en Delphi es de tipo SmallInt y en DB También Value3 en Delphi es de tipo Boolean y en DB también En Delphi estos campos se agrupan en un Record. En cada inserción:
Pongo un BreakPoint en la primera asignación, no da ningún error hasta llegar a ExecSQL. |
#32
|
|||
|
|||
Perdona es:
|
#33
|
||||
|
||||
Y el record?
__________________
El malabarista. |
#35
|
||||
|
||||
Lo de leer el .csv y pasarlo a un record y luego del record a la base de datos... es un paso que te puedes ahorrar perfectamente.
Lo lees del csv y lo guardas en la BD, nada más. Este código carga el archivo CSV en un objeto TStringList, luego abre una transacción y un conjunto de datos utilizando los componentes IBTransaction y IBDataSet, respectivamente. Luego, itera sobre cada línea del archivo CSV y separa los campos utilizando el método CommaText del objeto TStringList. Finalmente, inserta cada registro en la base de datos utilizando el método Insert y asignando los valores de los campos correspondientes.
__________________
La otra guía de estilo | Búsquedas avanzadas | Etiquetas para código | Colabora mediante Paypal |
#36
|
||||
|
||||
Prueba a poner una línea para que ejecute Prepare a propósito.
Deberás ponerlo después de cada StartTransaction o después de cada vez que cambie el SQL del Query. |
#37
|
||||
|
||||
Con respecto a los tipos de dato yo no me preocupo mucho.
El componente de Delphi hará las conversiones necesarias. Todos los enteros (smallint, integer, bigint) .AsInteger Todos los textos (char(), varchar()) .AsString Todos las fechas (date, time, ...) .AsDateTime Todos los decimales (double precision, numeric(x,x), ...) .AsFloat Para trabajar con booleanos en Firebird 2.5 debes tratarlos como un smallint con valores (0,1) o como un char/varchar() con valores ('S','N') Por lo tanto deberás hacer la conversión necesaria
|
#38
|
|||
|
|||
Gracias Casimiro, lo pruebo todo y te comento.
Buen finde. |
#39
|
|||
|
|||
Bueno Casimiro, estoy a punto de tirar la toalla.
He creado una tabla en una DB Firebird con la siguiente estructura.
Y he implementado un nuevo proyecto Delphi 2010, copiando, pegando y adaptando tu última recomendación.
Cómo puedes ver en el código he añadido un indicador <<<<<<<<<<< dónde y qué error me da. Si puedes mirarlo y decirme done lo hago mal, te lo agradeceré infinito. |
#40
|
||||
|
||||
Veamos, esto es fácil, te he preparado un sencillo proyecto y te lo adjunto aquí.
No sé qué versión usas de firebird, yo ahora mismo tengo la 2.5 y no existen los campos boolean, así que utilizo integer con 0/1 (0=false 1=true) Código:
CREATE TABLE PRUEBAS ( ID BIGINT DEFAULT 0 NOT NULL, MYINT INTEGER DEFAULT 0 NOT NULL, MYFLOAT FLOAT DEFAULT 0 NOT NULL, MYBOOL integer DEFAULT 0 NOT NULL, MYSTRING CHAR(1) DEFAULT '!' NOT NULL); Fíjate en los parámetros del IBDatabase y en los del IBTransaction. El IBDatabase le pongo la propiedad "login prompt" a false, para que no pregunte el password cada vez. Código:
user_name=sysdba password=masterkey Código:
read_committed rec_version nowait Y si lo ejecutas, obviamente, esto es una broma para firebird, en mi equipo tarda menos de 2 segundos.
__________________
La otra guía de estilo | Búsquedas avanzadas | Etiquetas para código | Colabora mediante Paypal |
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Insercion masiva desde Paradox a Firebird | MartinS | SQL | 5 | 22-12-2011 15:55:10 |
insercion masiva | Alfredo | Firebird e Interbase | 3 | 12-11-2008 21:34:46 |
Insercion masiva de una BD a otra BD | oscjae | Firebird e Interbase | 5 | 15-12-2006 21:25:49 |
Insercion masiva de registros MUY LENTA | Balda | Firebird e Interbase | 10 | 24-03-2004 22:40:21 |
Inserción masiva en MySQL | Morfo | MySQL | 3 | 09-01-2004 19:05:33 |
|