copias incrementales

[afxe]

Hola a todos.

Me gustaría desarrollar un sistema de backup via FTP. La idea: El usuario configura los directorios de su ordenador que desea tener salvaguardados, la direccion del servidor FTP donde desea enviarlo, el usuario y su contraseña. Mediante las "tareas programadas" del windows lanzo un programa que ha determinada hora comprima y envie la información de dichos directorios al servidor FTP indicado.

Mejorando el algoritmo, puedo llevar un control de los archivos enviados de manera que sólo comprimo y envío los que se hayan modificado o creado desde la última salvaguarda. Pero me encuentro que hay ficheros excesivamente grandes (de 500 MB o más) que pueden estar modificándose a diario (bases de datos) pero sólo varía en 0,5 o 1 MB como mucho, el resto de información no varía.

Se me ocurrió que podría crear un nuevo archivo con las modificaciones habidas desde su última actualización, de manera que cuando se enviara al servidor FTP se realizara algún proceso por el cual se "añadieran" las modificaciones al archivo que ya estaba salvaguardado, evitando tener que enviar de nuevo los 500 MB.

Busqué en internet y encontré algo parecido a lo que quiero hacer, lo llaman tecnología FASTBIT, desarrollada por Novastor, y hay varias empresas que lo explotan para ofrecer salvagarda remota de datos.

¿Teneis algún algoritmo en vuestros fondos de armario que haga esto o que me sirva de punto de partida?

Gracias a todos.

[afxe]

No sé si a alguien le ha picado la curiosidad o se ha planteado la enorme utilidad que puede tener esto, pero por si en un futuro a alguien le interesa me autocontesto ha este hilo:

(Pondré ejemplos con ficheros .GBK, que son copias de seguridad del Interbase, por si alguien no lo sabe)

He estado investigando por ahí, y he encontrado un par de programitas hechos en un principio por la comunidad Linux y adaptado a windows: bsDiff y bsPath. Con el primero, paso por parametro dos nombres de ficheros existentes (por ejemplo, un .GBK de fecha-1 y el .GBK de fecha actual) y un tercer nombre para el fichero con las diferencias entre ambos.

Este último fichero, resultande de las diferencias entre el primero y el segundo, lo envio por internet al servidor FTP y mediante el programa "bsPath" actualizo el .GBK de Fecha-1 que tenía en el servidor.

La primera vez hay que enviar el GBK completo (42 MB en mis pruebas), pero después sólo las modificaciones que han habido en el lapso de tiempo entre un GBK y otro (1 o 2 MB diarios, con una Adsl de 2 MB no llega a 15 segundos el envio).

Voy a proponer a mis clientes un sistema de copias de seguridad incremental en background y ON-LINE cada 2-3 horas, y una copia completa los fines de semana.

No obstante, si alguien localiza unos algorítmos de Parcheo de bits (binary patch) más rápido o seguro agradecería que me enviaran un mensajito, ya que estos los veo lentos y con un alto consumo de memoria, si el GBK pasa de 400 MB ya no rula, avisando de falta de memoria.

Saludos.