FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
#1
|
|||
|
|||
En realidad si seria una solución, pero no trabajando directamente el archivo CVS delimitado por PIPE, por que no tengo idea de como decirle que tome de X cantidad en X cantidad, pero si se puede desde SQLSERVER indicando que tome de Y registro a Y registro hasta terminar con todos los registros.
Pero si me diste la idea. |
#2
|
||||
|
||||
Tenes un doble while not eof anidados. No estaras procesando algo de mas?
No es necesario que abras el archivo entero en memoria. Podes leer de a una linea (busca sobre ReadLn) 1. Preparas el archivo para solo lectura. 2. Creas un ADOQuery, asignas la sentencia SQL y la dejas Prepared := True 2. Mientras no sea fin archivo, tomar una linea 3. Procesar linea, setear parametros ADOQuery, llamar a ADOQuery.ExecSQL 4. Vuelve a 2, cuando sea Eof := True, fin del proceso Eso no puede gastar casi nada de memoria El problema esta en otro lado, ademas de ese doble while anidado que no me gusta para nada (aun asi no te podria dar out of memory aunque fueran trillones de lineas, porque siempre procesas de a 1) Yo creo que tu problema esta en el "se hacen operaciones con con los valores". Depura el codigo y busca memory leaks. Añade la linea
Ejecuta tu proceso, y luego del Out of Memory, cierra la aplicacion e investiga donde estan las fugas de memoria Última edición por AgustinOrtu fecha: 21-10-2015 a las 03:29:38. |
#3
|
||||
|
||||
Hola,
todo apunta a que la iteración del fichero no la haces bien, como apunta AgustinOrtu. Revisa esto lo primero. Por otro lado, podría darse el caso ( después de corregir la iteración del fichero ) , que tengas que hacer cada x registros un commit. Esto lo sabrás cuando hagas bien la iteración. Saludos
__________________
Cuando los grillos cantan, es que es de noche - viejo proverbio chino - |
#4
|
||||
|
||||
Independientemente de que puedas continuar con esta solución, tal vez puedas revisar otras alternativas.
Como alternativa, se me ocurre que pruebes a realizar la importación directamente desde SQL Server. Revisa los DTS. La idea sería algo así, por ejemplo . Eesto variará dependiendo de la versión de SQL Server. En cuanto al proceso actual, yo también creo que tal vez deberías dividir el fichero. Pero no en la generación, sinó realizar un prepoceso del CSV para dividirlo por partes.
__________________
Germán Estévez => Web/Blog Guía de estilo, Guía alternativa Utiliza TAG's en tus mensajes. Contactar con el Clubdelphi P.D: Más tiempo dedicado a la pregunta=Mejores respuestas. |
#5
|
|||
|
|||
Gracias por sus comentarios.
Voy a revisar todo lo que indicaron para ver si se resuelve el problema de OUT OF MEMORY de lo contrario pues intentare la otra alternativa de seleccionar x cantidad en x cantidad. Muchas gracias a todos. |
#6
|
|||
|
|||
1. Por favor, coloca completo el mensaje de "Out of memory"; es importante determinar "quien" está lanzando la excepción ya que puede ser la base de datos, el driver, el sistema operativo, etc.
2. Coincido con AgustinOrtu, en lugar de construir la sentencia sql de inserción mejor déjala preparada con parámetros. Eso no resuelve el problema pero obtendrás mejor desempeño. 3. Verifica si la llamada a el procedimiento está inmerso dentro de una "transacción SQL": tres millones de registros esperando un commit o rollback pueden "reventar" la aplicación por cualquier lado. 4. Para descartar, comenta el bloque de código with AdoQuery2 do begin ... end. Si el problema persiste la falla está en la lectura del archivo, si se corrige entonces el problema está en el acceso a la base de datos. |
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Memory Data | Neeruu | Varios | 22 | 02-10-2013 23:01:56 |
Out of memory | Firewind | Lazarus, FreePascal, Kylix, etc. | 3 | 20-07-2010 12:33:32 |
Out of memory | blaiselaborde | Varios | 10 | 26-01-2010 18:52:27 |
Out of Memory | luxus | OOP | 5 | 30-09-2008 23:11:54 |
rx memory table | julyus | .NET | 2 | 18-09-2008 20:27:08 |
|