Inserción masiva en Firebird

[ElDuc]

Mi aplicación guarda los datos ya procesados en un registro:

Código Delphi [-]
Type
    MyType=Record
    Fecha:tDatatime;
    Campo1ouble;
    ...
    ...
    End;

Entonces es cuando necesito insertar estos datos en una tabla de Firebird configurada igual que mi registro Delpfi.

Yo siempre he trabajado con ADO (no sé si es la mejor opción) hasta ahora he tenido suficiente, pero nunca había tenido la necesidad de insertar tantos registros seguidos.

[Casimiro Notevi]

Vamos progresando
¿Entonces tienes 500 GB en memoria RAM? ¿cuánta RAM tiene ese equipo?
¿De cuántos registros estamos hablando?



Para que te hagas una idea de la diferencia de velocidad con diferentes componentes, esto ya es muy antiguo y es orientativo, se realizaron una serie de test de insersión, búsqueda, etc. y el resultado fue este:

[ElDuc]

Memoria RAM = 16 GB
Windows 10
SO 64bits
Disco SSD 1TB

Pero no almaceno los registros en mi aplicació, ya que una vez generados los guardo en la base de datos.

[Casimiro Notevi]

Si están en memoria en un "TRecord" y dices que son 500 GB... ¿no serán 500 MB?
Es que con 500 GB ni siquiera puedes usar ese disco de 1 TB
Bueno, a lo que vamos, ahora sí lo tenemos bastante claro para ayudar
Y ya digo, con IBX. Dentro de un rato preparo un simple código para lo que quieres.

[ElDuc]

Muchísimas gracias, ya que nunca he trabajado con InterBase.

[ElDuc]

En memoria sólo tengo un Record de 80Byte.

Éste es el que debo generar (siempre el mismo) y guardar en la DB.

Cuando termine el proceso, calculo que la DB ocupará 500GB.

[[fjcg02]]

Vamos centrando el tiro...

Cuantos registros/filas hay en tu csv?
Cuanto tardas en crear otro csv con la información preparada? Porqué lo guardas en memoria?
Puedes procesar cada registro e insertarlo de la misma? asi te ahorras duplicar la info. Poner una traza por si te falla para volver a cargar desde donde falla.

Insertar 100.000 registros no puede demorar más de 3 minutos.

Por cada fila del csv lanzas una SQL de INSERT tal y como te han indicado desde las primeras respuestas.

Abro el csv.
por cada fila que lea:
proceso o pongo la información en formato correcto.
hago INSERT de ese registro. Si la insert la tienes parametrizada, tarda menos, es decir, parametro1 = valor1, parametro2= valor2, etc ->
SqlInsert.Open; Creo que era asñi, ya no recuerdo la sintaxis
leo siguiente fila
hasta acabar