Evitar KeyViolation

Ing Harry · #1 01-06-2005

Saludos ya coloque esta pregunta en otro hilo, pero me di cuenta que su fecha es muy antigua y para evitar que depronto no vean mi pregunta, la coloco en este hilo, agradezco que los moderadores me entiendan.

Tengo Un Problema Al Validar Llaves Primarias. Resulta Que Yo Hice Una Aplicacion Que Se Alimenta A Partir De Archivos Planos. Yo Valido Usando Una Consulta Que Toma Cada Linea Y La Consulta En La Tabla, En Caso De Que Su Llave Este Duplicada, El Sistema actualiza los campos que acompañan a la llave en, En Caso Contrario Crea Un Nuevo Registros Con Estos Datos. El Problema Es Que Al Cargar Un Archivo Con Muchos Registros El Sistema Se Me Pone Lento. Estoy Convencido Que esto Radica En La Forma De Validar. Que Me Recomiendan Ustedes Hacer Para Mejorar El Rendimiento.

Agradezco La Atencion.

Atentamente
Ing Harry :d :d :d

roman · #2 01-06-2005

Cita:

Empezado por Ing Harry

Saludos ya coloque esta pregunta en otro hilo, pero me di cuenta que su fecha es muy antigua y para evitar que depronto no vean mi pregunta, la coloco en este hilo, agradezco que los moderadores me entiendan.

Para ocasiones futuras te comento que no importa cuan antiguo sea un hilo, al momento de agregarle un mensaje el hilo pasa al principio de la lista.

// Saludos

Ing Harry · #3 08-06-2005

En Serio Necesito De Su Colaboracion, No Encuentro La Manera De Solucionar El Inconveniente,agradezco Su Atencion...

ramiretor · #4 08-06-2005

Hola:
Pareces desesperado, lo que no has puesto es la base de datos que usas. Por otro lado ¿por qué no subes la información como va a una tabla temporal a fin de que trabajes sobre la misma base de datos?

Saludos

Ing Harry · #5 09-06-2005

Que tal

Depronto por el afan que tengo no he dado los datos completos, estoy trabajando una base de datos en mysql, estoy comunicandola via odbc, a continuacion describo el codigo que estoy utilizando para trabajar.

Código Delphi [-]procedure TCarg_Venta.Btn_ExporClick(Sender: TObject);
 var
  Archivocsv, Campos: Tstringlist;
  I: Integer;
  S,A,B,C,D,E,F,G,H,Y,K,M,N,O,P,Q,R:string;
 begin
 //StringLists para el archivo y para los campos
 prg_bar_prep.Position:=0;
 prg_bar_carg.Position:=0;
 Archivocsv:=Tstringlist.create;
 Campos:=Tstringlist.create;
 try
  //Cargo el archivo a la stringlist Archivocsv...
  Archivocsv.LoadFromFile(ruta.Text);
  //Rutina para agregar las doble comillas...
  lbl_prep.Enabled:=true;
  prg_bar_prep.Min:=0;
  prg_bar_prep.Max:=archivocsv.Count;
  S:=Archivocsv.Strings[0];
  if (copy(s,1,1))<>'"' then begin
   for I:=0 to Archivocsv.Count -1 do
   begin
    //Paso c/línea a un string para modificarla a mi gusto con insert
    S:=Archivocsv.Strings[i];
    A:=copy(S,0,2);
    B:=copy(S,length(a)+1,2);
    C:=copy(S,length(a)+1,4);
    D:=copy(S,length(a+c)+1,18);
    E:=copy(S,length(a+c+d)+40+1,2);
    F:=copy(S,length(a+c+d)+40+1,4);
    G:=copy(S,length(a+c+d+f)+40+1,3);
    H:=copy(S,length(a+c+d+f+g)+40+1,15);
    K:=copy(S,length(a+c+d+f+g+h)+40+40+1,12);
    M:=copy(S,length(a+c+d+f+g+h+k)+40+40+1,12);
    N:=copy(S,length(a+c+d+f+g+h+k+m)+40+40+1,4);
    O:=copy(S,length(a+c+d+f+g+h+k+m+n)+40+40+1,1);
    P:=copy(S,length(a+c+d+f+g+h+k+m+n+O)+40+40+1,10);
    R:=copy(S,length(a+c+d+f+g+h+k+m+n+O+P)+40+40+1,3);
     //Modifico...
    c:=copy(c,2+1,4);
    insert('-',f,3);
    q:=copy(N,0,2);
    q:=copy(N,3,4)+q;
    N:=Q;
    insert(formatdatetime('yyyy',now),N,length(n)+1);
    insert('/',N,3);
    insert('/',N,6);
    insert('"',A,0);
    insert('"',A,length(a)+1);
    insert('"',B,0);
    insert('"',B,length(B)+1);
    insert('"',C,0);
    insert('"',C,length(C)+1);
    insert('"',D,0);
    insert('"',D,length(D)+1);
    insert('"',E,0);
    insert('"',E,length(E)+1);
    insert('"',F,0);
    insert('"',F,length(F)+1);
    insert('"',G,0);
    insert('"',G,length(G)+1);
    insert('"',H,0);
    insert('"',H,length(H)+1);
    insert('"',K,0);
    insert('"',K,length(K)+1);
    insert('"',M,0);
    insert('"',M,length(M)+1);
    insert('"',N,0);
    insert('"',N,length(N)+1);
    insert('"',O,0);
    insert('"',O,length(O)+1);
    insert('"',P,0);
    insert('"',P,length(P)+1);
    insert('"',R,0);
    insert('"',R,length(R)+1);
    //concateno,y guardo
    Y:=concat(A,',',B,',',C,',',D,',',E,',',F,',',G,',',H,',',K,',',M,',',N,',',O,',',P,',',R);
    Archivocsv.Strings[i]:=Y;
    prg_bar_prep.Position:=prg_bar_prep.Position+1;
   end;
  end;
  prg_bar_prep.Position:=archivocsv.Count;
  //Guardo los cambios
  Archivocsv.SaveToFile(ruta.Text);
  //Cargo el archivo modificado segun mi estructura
  Archivocsv.LoadFromFile(ruta.Text);
  lbl_carg.Enabled:=true;
  for I:=0 to Archivocsv.Count -1 do
  begin
   prg_bar_carg.Min:=0;
   prg_bar_carg.Max:=archivocsv.Count;
   Campos.clear;
   Campos.CommaText:=ArchivoCsv[i];
   bd.Tbl_Venta.Open;
   //inicio la validacion de repetidos
   bd.Qry_Vld.Close;
   bd.Qry_Vld.SQL.Text:='Select * from tbl_venta where Cod_Movi=:cod_movi and document=:document and linea=:linea';
   bd.Qry_Vld.ParamByName('Cod_Movi').AsString:=campos[11];
   bd.Qry_Vld.ParamByName('Document').AsString:=campos[12];
   bd.Qry_Vld.ParamByName('Linea').AsString:=campos[13];
   bd.Qry_Vld.Open;
   //Valido si el query no me arroja nada guardo, en caso contrario actualizo la bd
   if(bd.Qry_Vld.RecordCount=0) then begin
    bd.Tbl_Venta.Insert;
    bd.Tbl_Venta.FieldByName('Cod_Vende').AsString:=Campos[0];
    bd.Tbl_Venta.FieldByName('Cod_Zo').AsString:=Campos[1];
    bd.Tbl_Venta.FieldByName('Cod_Subzo').AsString:=Campos[2];
    bd.Tbl_Venta.FieldByName('Cod_Cliente').AsString:=Campos[3];
    bd.Tbl_Venta.FieldByName('Cod_Grup').AsString:=Campos[4];
    bd.Tbl_Venta.FieldByName('Cod_SubGrup').AsString:=Campos[5];
    bd.Tbl_Venta.FieldByName('Embal').AsString:=Campos[6];
    bd.Tbl_Venta.FieldByName('Cod_Artic').AsString:=Campos[7];
    bd.Tbl_Venta.FieldByName('Canti').AsInteger:=strtoint(Campos[8]);
    bd.Tbl_Venta.FieldByName('Valor').AsInteger:=strtoint(Campos[9]);
    bd.Tbl_Venta.FieldByName('Fecha').AsDateTime:=strtodatetime(campos[10]);
    bd.Tbl_Venta.FieldByName('Cod_Movi').AsString:=Campos[11];
    bd.Tbl_Venta.FieldByName('Document').AsString:=Campos[12];
    bd.Tbl_Venta.FieldByName('Linea').AsString:=Campos[13];
    bd.Tbl_Venta.Post;
    bd.Qry_Vld.Close;
    prg_bar_carg.Position:=prg_bar_carg.Position+1;
    bd.Tbl_Venta.Close;
    bd.Qry_Vld.Close;
   end
   else begin
    bd.Tbl_Venta.FindKey([Campos[11],Campos[12],Campos[13]]);
    bd.Tbl_Venta.Edit;
    bd.Tbl_Venta.FieldByName('Cod_Vende').AsString:=Campos[0];
    bd.Tbl_Venta.FieldByName('Cod_Zo').AsString:=Campos[1];
    bd.Tbl_Venta.FieldByName('Cod_Subzo').AsString:=Campos[2];
    bd.Tbl_Venta.FieldByName('Cod_Cliente').AsString:=Campos[3];
    bd.Tbl_Venta.FieldByName('Cod_Grup').AsString:=Campos[4];
    bd.Tbl_Venta.FieldByName('Cod_SubGrup').AsString:=Campos[5];
    bd.Tbl_Venta.FieldByName('Embal').AsString:=Campos[6];
    bd.Tbl_Venta.FieldByName('Cod_Artic').AsString:=Campos[7];
    bd.Tbl_Venta.FieldByName('Canti').AsInteger:=strtoint(Campos[8]);
    bd.Tbl_Venta.FieldByName('Valor').AsInteger:=strtoint(Campos[9]);
    bd.Tbl_Venta.FieldByName('Fecha').AsDateTime:=strtodatetime(campos[10]);
    bd.Tbl_Venta.Close;
    bd.Qry_Vld.Close;
    prg_bar_carg.Position:=prg_bar_carg.Position+1;
   end;
  end;
  except
  showmessage('La Carga de las Ventas No pudo llevarse acabo');
 end;
 Archivocsv.Free;
 Campos.Free;
 showmessage('La Carga de las ventas ha finalizado');
end;

Agradezco su atencion y colaboracion

ramiretor · #6 09-06-2005

Hola:
¿MySQL? es una base de datos que no he usado, que gran ayuda no?

Bueno, bueno para empezar ¿cuantos son muchos registros?, hay varias maneras en las que lo puedes hacer, por lo que veo en tu rutina darle formato al archivo que vas a subir está bien (a menos que lo veas lento). Ahora al momento de buscar la llave ¿por qué no pones la sentencia en el Query y solo le pasas los párametros? pero en lugar de traer todo el registro un count(*):

Código SQL [-]  Select count(*) as registros from tbl_venta 
  where ....

De manera que sólo le pasas la sentencia una vez y la vas abriendo:

Código Delphi [-]bd.Qry_Vld.ParamByName('Cod_Movi').AsString:=campos[11];
bd.Qry_Vld.ParamByName('Document').AsString:=campos[12];
bd.Qry_Vld.ParamByName('Linea').AsString:=campos[13];
bd.Qry_Vld.Open;

Ahora bien, de lo que yo he hecho llamar a post en cada registro lo hace muy lento y lo uso cada determinado número de registros insertados, por ejemplo cada 1000 registros.

Prueba a ver si esos arreglos hacen más rapida la aplicación.

ramiretor · #7 09-06-2005

Adicionalmente, otra manera de hacerlo es:

1.Modificar el archivo origen como lo haces.
2. ¿ Es que acaso en MYSQL no hay opción de hacer un export o import desde un archivo de texto?, para subir el archivo a una tabla temporal.
3. Crear un indice "al vuelo" de la tabla temporal
4. Hacer un insert de los registros cuya llave no sea igual
5. Hacer update de los registros que sean iguales
6. Borrar la tabla temporal

A lo mejor asi sea más rapido
Saludos

Ing Harry · #8 09-06-2005

Antes que nada ramiretor gracias por tomarte el tiempo de mirar mi hilo.

Te cuento que trabajar tablas temporales me generaria aun muchos mas inconvenientes, pues la cantidad de registros promedio que manejo son 13500 mas o menos, la rutina de preparacion de la estructura del archivo es rapida, no tiene inconvenientes, pero el problema esta dado es en la forma como valido, las llaves, me han hablado de manejarlo con exepcion pero la verdad no se como hacerlo. Ahora he dejado para cerrar la tabla unicamente al final del proceso, y no tener que estar abriendola y cerrando cada vez que inserto o actualizo, eso me ayuda bastante.

Te agradezco la atencion y espero que sigamos trabajandole a esto para retroalimentar los conocimientos.

ramiretor · #9 10-06-2005

Hola:
De hecho se me hacen pocos registros, tienen razón con la excepción se puede manejar (de hecho ya no buscarías la llave en la tabla destino), quedaria:

Código Delphi [-]   try
     Insert into TablaDestino values....
   except
     update TablaDestino...
     where Llave = TablaOrigen.llave
   end;

A ver prueba así

Saludos

roman · #10 10-06-2005

Creo que hay varias cosas específicas de MySql que se pueden investigar para optimizar la actualización.

1. De ser posible no usar ODBC sino alguna otra componente de acceso directo como ZEOS o MyDac.

2. No deshechar inmediatamente la opción comentada de las tablas temporales. MySql maneja tablas de tipo HEAP que son tablas en memoria por lo cual son muy rápidas.

3. Investigar las distintas formas de insertar registros

a. Por un lado INSERT tiene la cláusula opcional ON UPDATE que sirve para actualizar un registro en lugar de insertarlo en el caso de encontrar uno cuya llave primaria ya exista.

b. INSERT acepta la inserción de múltiples registros en una sola instrucción lo cual es mucho, pero mucho más rápido que una sucesión de instrucciones INSERT. Combinado con a. puede hacr una enorme diferencia.

c. También existe la sentencia REPLACE, que es similar a INSERT ... ON UPDATE pero con la diferencia de que primero borra el registro repetido y luego inserta el nuevo en lugar de simplemente actualizarlo.

d. Investigar la posibilidad de usar LOAD DATA INFILE, que lee directamente de un archivo de texto y es aún más rápido que INSERT con múltiples registros. LOAD DATA INFILE acepta la directiva REPLACE para manejar los registros duplicados.

No aseguro que esto va a ser más eficiente sobre todo porque implica construir un archivo de texto que luego se manda al servidor, pero creo que vale la pena investigarle.

// Saludos

Ing Harry · #11 11-06-2005

Agradezco tus comentarios, y tu forma de explicar, los tendre en cuenta y empezare a investigar no solo para este problema sino a futuro. Como siempre muy bien explicadas tus respuestas roman.

Estamos en contacto.