![]() |
Generar Hash a partir de Registro Firedac
Hola de nuevo amigos del foro,
he buscado en diversos hilos del foro sobre sincronizar una base de datos sqlite con otra base de datos y encontré lo siguiente: http://www.clubdelphi.com/foros/showthread.php?t=84484 Estoy utilizando firedac para conectarme a sqlite y quisiera hacer una funcion MD5 que pasandole un registro del dataset me devuelva un hash único que se almacene en cada tabla que inserte registros para luego utilizar en la sincronización. Desde ya muchas gracias. |
Hola juniorSoft,
Referente a mi respuesta anterior del hilo que comentas, lo que hago es convertir todos los campos implicados en la sincronización (no tienen porque ser todos los campos que contiene la tabla, si no solamente aquellos campos comunes a ambas tablas, la de origen y la de destino) de cada registro a una cadena de texto, y aplicar la función MD5 a esa cadena generada. Esto que en principio parece una operación relativamente sencilla, puede llegar a dar muchos problemas, sobre todo cuando los motores de bases de datos son distintos, en mi caso la sincronización se hace para los motores MySQL y MsSQL y los datos que en principio deberían de ser iguales y generara un mismo HASH en ambos sitios, termina por no ser así. Por poner un ejemplo a esto, en MySQL una cadena almacenada en un campo de tipo varchar solo tiene la longitud de la propia cadena, pero en MsSQL esa misma cadena almacenada también en un varchar de la misma logitud que el caso anterior, en realidad los datos van con espacios a la derecha hasta completar la logintud del varchar, por lo que al aplicar la función MD5 en ambos casos y siendo los mismos datos, el resultado sera distinto. En cuanto a generar el HASH de un registro, yo tengo creada una clase a la que se le pasa una lista de campos implicados (campos comunes) en el hash con el nombre y tipo de campo, y a partir de la cual monto una instrucción SQL que se encarga de decirle al motor de BBDD como generar el hash de esos campos, quedando una consulta similar a esto:
Algunas de dichas funciones para MySQL son estas:
Todas estas funciones las tengo definidas en una clase generica de la que luego derivo para cada uno de los motores de BBDD, puesto que hay diferencias bastante significativas en cuanto a la sentencias SQL para cada uno de los motores de BBDD, aquí dos de las funciones declaradas arriba para MySQL y aqui abajo las mismas funciones pero ahora para MSSQL
Algunos problemas que yo me he encontrado y que pueden complicar bastante las cosas: - A la hora de ordenar por campos indice de tipo texto, dependiendo del COLLATE de las tablas es posible que no tengan el mismo ORDEN. - En alguno de los motores de BBDD el hash lo devuelve en mayúsculas y en otro en minúsculas, por lo que es necesario convertirlo todo a mayúsculas o todo a minúsculas - Los componentes ZEOS en general van muy bien, pero tienen algunos BUGS que excepcionalmente pueden dar muchos quebraderos de cabeza, uno de ellos en particular es los campos de tipo TBLOB donde no es capaz de diferenciar cuando un campo es NULL o solo esta vacío. Un Saludo |
Hola bucanero,
Gracias por la guía que me has ofrecido. Lo que busco es tratar de reducir el tiempo lo mayor que se pueda en la sincronización ya que la aplicación que estoy realizando es para tablets y smartphnes los cuales tendrán una BD sqlite; puede ser que no se realice el proceso con pocos datos porque no es necesario mantenerlo sincronizados en cortos periodos de tiempo, el tope creo serían unos 10 a 15 mil registros. Quizás tendré que realizar un backup de la base de datos sqlite para luego pasarla al equipo que va a sincronizar y realizarlo desde ahí. Saludos, |
Hola juniorSoft,
En mi sistema, la BBDD principal esta en MSSQL en local, y la BBDD de destino esta en un servidor MySQL en internet, y llego a realizar una sincronizacion completa con algo mas de 50 tablas, algunas de ellas con varios millones de registros en poco mas de 7 u 8 minutos. Para tablas no muy grandes, varios miles de registros, apenas tardas unos segundos. Todo esto, teniendo en cuenta que la mayoria de los datos no suelen cambiar, otra historia distinta es hacer una sincronizacion desde cero donde se van a crear todos los datos. Yo el sistema lo he optimizado para que las cargas de trabajo al servidor de BBDD sean las minimas posibles. Como pongo anteriormente me descargo solo los indices de cada registro con sus hash correspondientes ordenados por el/los campos indices y recorro ambas tablas (la de origen y la de destino) buscando cambios en los hash o registros que no existan, y genero dos listas de indices, una con los indices que no existen o se han modificado y otra con los indices que hay que borrar en la tabla de destino y una vez terminada esta comparación inicial: - Se ejecuta la consulta de borrado con los indices de la lista a eliminar. - Y se realiza una consulta de todos los campos que se van a actualizar para los indices que contiene la lista a modificar, una vez que ya tengo esos datos monto una consulta de insercion masiva con modificacion de los datos, (Para MySQL seria una sentencia INSERT INTO.. ON DUPLICATE KEY UPDATE... y para MsSQL es un sentencia MERGE ) No tengo experiencia en cuanto a la programación con dispositivos moviles por lo que no se la velocidad que pueden llegar a tener este proceso. Un saludo |
La franja horaria es GMT +2. Ahora son las 23:52:01. |
Powered by vBulletin® Version 3.6.8
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Traducción al castellano por el equipo de moderadores del Club Delphi