Insert masivo de datos, cada vez mas lento

[papote654]

Gracias anticipadas por su ayuda.

Estoy haciendo un insert masivo de datos en SQL 2008 los cuales lo obtengo de un archivo .txt, el caso es que recorro una carpeta con 80 archivos .txt podrían ser más o menos, lleno una variable con los datos del archivo y luego lo inserto en SQL y así sucesivamente, el problema está en que mientras más datos mando a insertar más lento se va haciendo el proceso del insert.

Si inserto un .txt de 1kb solo dura unas cuantas milésimas de segundo, continuando inserto un .txt de 500kb y dura 30 segundos, continuando inserto un .txt de 1kb pero este en vez de durarme unos cuantos milésimas de segundo como el primero me dura varios segundo, es decir al momento de insertar en SQL cada vez se pone más lento.

Espero haberme dado a entender, agradeceré cualquier colaboración.

Gracias...

[[mightydragonlor]]

Como lo haces? cual es el código con el que haces esto? desde donde lo haces? delphi, .Net, desde el mismo SQL, danos mas datos, así te podremos ayudar.

[papote654]

Gracias mightydragonlor por responder, lo hago con delphi 7, en una carpeta tengo un simnumero de archivos.txt que son las tablas a exportar, leo esta carpeta y recorro cada uno de esos archivos, "todo esto es muy rapido", dentro de estos archivos estan cada uno de los registros los cuales los cargo en una variable para luego insertarlo en la db.

--esta es la idea de como quedan

Código SQL [-]
INSERT INTO tabla (campos) VALUES ("datos")
INSERT INTO tabla (campos) VALUES ("datos")
INSERT INTO tabla (campos) VALUES ("datos")

Imagina que tengo 10,000 registros en un archivo, pues el insert estara 10,000 veces y lo ejecuto todo junto en un solo comando como se ve en el codigo anterior.

Gracias..

[[mightydragonlor]]

Entiendo, y creo armas una variable con 10 mil líneas de insert into y luego la mandas a la base de datos, lo que sucede con esto es que se genera una transacción gigantesca que hacer que la siguiente línea aún guarda información de la transacción anterior, te recomiendo que entre cada línea pongas un GO, ejemplo:

Código SQL [-]
INSERT INTO tabla (campos) VALUES ("datos")
GO
INSERT INTO tabla (campos) VALUES ("datos")
GO
INSERT INTO tabla (campos) VALUES ("datos")
GO

También que desactives la transacción desde delphi, con esto debería mejorar notablemente.

Saludos.

[papote654]

Cuando dices desactive las transacciones de delphi a que te refieres?, tambien pense en crear un BEGIN TRANS en el codigo de SQL.

[[mightydragonlor]]

dependiendo del control que uses para la conexión de base de datos, tienes un componente Transaction, con ropiedades, autocommit, active y demás, si este es el caso, lo pones en active false y listo.

Saludos.