[Aporte] Guardar archivos binarios en BD PostgreSQL con C++ Builder, ADO y ODBC

[KATODO]

he querido compartir este truco con ustedes, estuve investigando por 3 semanas la forma de guardar archivos binarios (imagenes, videos, documentos, etc) en una base de datos postgres, consegui una libreria llamada ZeosLib que es free, pero al parecer el proyecto esta un poco abandonado ya que no consegui un release compatible con C++ Builder 2007. Luego intente con PostgresDac, pero estas librerias piden licencia de desarrollo, así que descarte esta idea, ya que no tengo la mas minima disposicion de pagar por esos componentes, y si ellos lograron trabajar con archivos binarios entonces nosotros tambien podemos hacerlo.
Posteriormente probe con las funciones lo (lo_import, lo_export, lo_open, lo_create, etc) pero lo malo de estas funciones es que el archivo que se va a guardar debe estar en el servidor, especificamente en la carpeta postgres, es decir que para guardar una imagen que esta en el cliente primero debemos trasferirla al servidor.
Después de tanto investigar descubri que para poder guardar archivos binarios en postgres es necesario crear en la base de datos un type llamado "lo" y establecer la conexion por medio de psqlODBC, ya que este driver al conseguir el tipo de dato "lo" lo mapea como longvarbinary. (esta información la tome de la pagina de proyecto de psqlODBC http://psqlodbc.projects.postgresql.org/)
Bueno, dejemonos de tanta chachara y vamos a lo que es.
lo primero que deben hacer es crear el type "lo" en la base de datos (en mi caso la base de datos se llama SaapAccessCtrl).

Código SQL [-]
-- Crea una funcion de entrada para el type
CREATE FUNCTION lo_in(cstring)
     RETURNS lo
     AS 'int4in'
     LANGUAGE 'internal' WITH (ISCACHABLE, ISSTRICT);
 
-- Crea una funcion de salida para el type
  CREATE FUNCTION lo_out(lo)
     RETURNS cstring
     AS 'int4out'
     LANGUAGE 'internal' WITH (ISCACHABLE, ISSTRICT);
  -- Crear un tipe large object
  CREATE TYPE lo(
     internallength = 4,
     externallength=10,
     input = lo_in,
     output = lo_out,
     alignment = int4,
     default = '',
     passedbyvalue
  );
-- Crear una funcion para compatiblidad
CREATE FUNCTION lo_oid(lo) RETURNS pg_catalog.oid AS
'SELECT $1:: pg_catalog.oid' LANGUAGE SQL STRICT IMMUTABLE;
-- Esta funcion sera usada en triggers
CREATE FUNCTION lo_manage()
RETURNS pg_catalog.trigger
AS '$libdir/lo'
LANGUAGE C;
-- Crear cast de lo->oid
create cast (lo as oid) without function as implicit;
--Crear cast de oid->lo
create cast (oid as lo) without function as implicit;

Ahora creamos la tabla donde vamos a guardar los archivos, en este caso utilizaremos como ejemplo los datos de empleados y guadaremos la foto del mismo.

Código SQL [-]
CREATE SCHEMA accessctrl AUTHORIZATION postgres;
-- Crear una tabla para hacer pruebas
create table accessctrl.employee (
        id varchar(10),
        name varchar(30),
        picture lo
 CONSTRAINT pk_id_employee PRIMARY KEY (id));

Desen cuenta que el campo donde vamos a guardar la imagen se definio del tipo "lo"
Nota: En caso de que al ejecutar el código les de un error de sintaxis deben ejecutar cada sentencia por separado.
Ahora debe instalar el driver psqlODBC (el driver lo pueden descargar desde aqui: http://www.postgresql.org/ftp/odbc/versions/)
Una vez instalado el driver deben crear un origen de datos para ello hacen click en inicio->ejecutar y escriben "odbcad32" sin las comillas y presionan enter.
Allí crean el origen de datos a la base de datos que quieren conectarse usando el driver PostgreSQL ANSI. en mi caso quedo de la siguiente forma:
Luego presionan el boton DataSource y en la pagina 1 presionan el boton default y verifican que esten activas las siguientes:
Disable Generic Optimizer
KSQO (KeySet Query Optimizer)
Recognize Unique Index
Use Declare/Fetch
Parse Statements
Luego presionan el boton page2 y verifican que esten seleccionadas las siguiente opciones:
Show System Tables
LF <-> CR/LF Conversion
Updatable Cursors
bytea as LO
Server syde prepare
Show Column
Protocol 7.4+, Int8 as default
Las demas opciones deben estar deseleccionadas
Una vez configurado su origen de datos procedemos a escribir nuestro programa en C++ Builder
Crean un nuevo proyecto y agregan un ADOConnection, ADODataSet, ADOCommand, OpenDialog. en el nombre de cada control le quitan el numero 1.
Agregan tambien 2 Edit y los llaman txtCedula y txtNombre, agregan 1 Image y lo llaman imgPicture.
agregan dos botones y le cambian el Caption a agregar nuevo y cargar respectivamente.
Crean una nueva unidad y en el .h pegan el siguiente codigo

//---------------------------------------------------------------------------
#ifndef largeobjectH
#define largeobjectH
#include <ADODB.hpp>
#include <DB.hpp>
#include <vcl.h>
class LargeObject{
public:
 static void __fastcall loSaveToFile(AnsiString fileName, TADODataSet *data, AnsiString loFieldName);
 static void __fastcall loLoadFromFile(AnsiString fileName, TParameter *loPar);
};
#endif

y en el .cpp el siguiente

//---------------------------------------------------------------------------
 
#pragma hdrstop
#include "largeobject.h"
#pragma package(smart_init)
////////////////////////////////////////////////////////////////////////////////
//Recuperar un lo de la base de datos
void __fastcall LargeObject::loSaveToFile(AnsiString fileName, TADODataSet *data, AnsiString loFieldName)
{
 TStream *bs = data->CreateBlobStream(data->FieldByName(loFieldName),bmRead);
 TStream *fs = new TFileStream(fileName,fmCreate);
 fs->CopyFrom(bs,bs->Size);
 fs->Free();
 bs->Free();
}
////////////////////////////////////////////////////////////////////////////////
//Cargar un lo desde el disco a la base de datos a traves de parametros
void __fastcall LargeObject::loLoadFromFile(AnsiString fileName, TParameter *loPar)
{
  loPar->LoadFromFile(fileName,ftTypedBinary);
}

Guardan la unidad como largeobjet.cpp y la incluyen en el formulario con una instruccion #include "largeobject.h"
Agregan el evento OnCreate al formulario y pegan el siguiente codigo:

ADOConnection->LoginPrompt = false;
ADOConnection->ConnectionString = "Provider=MSDASQL.1;Persist Security Info=False;User ID=postgres;Data Source=SaapAccessCtrl";
ADOConnection->Open("postgres","mi contraseña"); //Aquí van los datos de inicio de sesion en postgres

Agregan el evento OnClose sobre el form y pegan el siguiente código:

ADOConnection->Close();

Para insertar los registros a la base de datos vamos a usar una instrucción insert sobre un ADOCommand ya que es mucho más rapido que utilizar un ADODataSet.
Para ello agregan el evento OnClick sobre el boton1 y pegan el código

 TParameter *name, *id, *picture;
 //Validar la cedula
 if(txtCedula->Text.IsEmpty()){
  ShowMessage("Por favor indique el numero de cedula");
  txtCedula->SetFocus();
  return;
 }
 //Validar el nombre
 if(txtNombre->Text.IsEmpty()){
  ShowMessage("Por favor indique el nombre del empleado");
  txtCedula->SetFocus();
  return;
 }
 //preguntar por la foto que se almacenara en la BD
 if(OpenDialog->Execute(this)){
  try{
   //iniciar la transaccion
   ADOConnection->BeginTrans();
   //Formatear la sentencia insert
   ADOCommand->Connection = ADOConnection;
   ADOCommand->ParamCheck = false; 
   ADOCommand->CommandText = "insert into accessctrl.employee(id, name, picture) values(?,?,?)";
   ADOCommand->CommandType = cmdText;
   //Borrar los parametros que existan en el command
   ADOCommand->Parameters->Clear();
   //Añadir los parametros
   id = ADOCommand->Parameters->AddParameter();
   id->Name = "id";
   id->DataType = ftString;
   id->Direction = pdInput;
   id->Value = txtCedula->Text;
   name = ADOCommand->Parameters->AddParameter();
   name->Name = "name";
   name->DataType = ftString;
   name->Direction = pdInput;
   name->Value = txtNombre->Text;
   picture = ADOCommand->Parameters->AddParameter();
   picture->Name = "picture";
   //Se carga la imagen desde archivo
   LargeObject::loLoadFromFile(OpenDialog->FileName,picture);
   //preparar los paramtros y ejecutar la sentencia
   ADOCommand->Prepared =  true;
   ADOCommand->Execute();
   //hacer efectiva la transaccion
   ADOConnection->CommitTrans();
   ShowMessage("El empleado ha sido guardado");
  }catch(Exception &e){
   ADOConnection->RollbackTrans();
   ShowMessage(e.Message);
  }
  ADODataSet->Close();
 }else
  ShowMessage("La inserción del empleado ha sido cancelada");

Ahora vamos con el código para cargar los datos desde la BD, para ello agregamos el evento on click sobre el boton2 y pegamos el código:

AnsiString file = ExtractFilePath(ParamStr(0))+"picture.jpg";
 //Validar la cedula
 if(txtCedula->Text.IsEmpty()){
  ShowMessage("Por favor indique el numero de cedula del empleado a consultar");
  txtCedula->SetFocus();
  return;
 }
 //iniciar la transaccion
 ADOConnection->BeginTrans();
 //formatear el Query
 ADODataSet->Connection = ADOConnection;
 ADODataSet->CursorType = ctDynamic;
 ADODataSet->ParamCheck = false;
 ADODataSet->CommandText = "SELECT id, name, picture from accessctrl.employee where id='"+txtCedula->Text+"'";
 ADODataSet->Open();
 if(ADODataSet->Eof){
  ShowMessage("La consulta no genero resultado");
 }else{
  txtNombre->Text = ADODataSet->FieldByName("name")->AsString;
  //Guardar el lo a un archivo
  LargeObject::loSaveToFile(file,ADODataSet,"picture");
  //Cargar el archivo en el control
  imgPicture->Picture->LoadFromFile(file);
 }
 ADODataSet->Close();
 ADOConnection->RollbackTrans();

Con esto ya pueden guardar y cargar archivos binarios en la BD, y aunque muchos digan que es una mala praxis y que ralentiza la base de datos, para algunas aplicaciones es necesario ya que al tener todos los archivos en una carpeta es mucho más fácil que un usuario comun sin muchos conocmientos ingrese y haga cambios sobre la información. imaginen por ejemplo un programa de control de acceso que toma la foto cada vez que un empleaado ingresa o sale de la empresa, si las fotos son guardadas en un directorio cualquier usuario sin mucha experiencia podria ingresar y cambiar una foto por otra o borrar información, y seria casi imposible evitar esto ya que el usuario sobre el cual se ejecuta la aplicacion debe tener permisos de lectura y escritura sobre esa carpeta para poder guardar alli la info.
por otra parte según los expertos postgres tiene una ventaja al tratar LargeObject ya que guarda los mismos en una tabla aparte lo que evita retardos en las consultas.
Y por ultimo recuerden que para cada base de datos donde quieran guardar archivos binarios deben crear el type "lo"

[[Caral]]

Hola
Me alegro mucho por el aporte, Gracias.
Saludos

[burgosrodas]

Excelente aporte aunque trabajo con Delphi y ZeosLib y la solución que propones es la que necesito, pues necesito cargar archivos directamente en un campo (evitando cargarlos en el servidor como dices), pero me encuentro con el siguiente error en el SQL

Código SQL [-]
ERROR:  no se puede convertir el tipo lo a oid
LINE 3: 'SELECT $1:: pg_catalog.oid' LANGUAGE SQL STRICT IMMUTABLE;
                  ^

********** Error **********

ejecute sentencia por sentencia como propones pero me sale el mismo error
utilizo la version 9.02 de postgres
¿alguien sabe que puede ocurrirme?

[KATODO]

Es posible que el tipo "lo" ya sea parte oficial de postgres para la version 9.02. Esos scripts eran necesarios en la versión 8, debido a que el tipo "lo" no era parte de los tipos básicos de postgres. Intenta crear la tabla y si no te da error puedes intentar guardar y cargar los objetos.

[burgosrodas]

Muchas gracias por tu ayuda
pero intenté creando la tabla con el campo 'lo' y me arroja lo siguiente

Código SQL [-]
ERROR:  no existe el tipo «lo»
LINE 4:         picture lo,
                        ^

********** Error **********

(utilizo Delphi XE, ZeosLib, y postgres 9.02)
seguí investigando en el foro y me encontré con unas pistas muy practicas
como la siguiente
(obviamente hablo pascal, tu ya lo traducirás a C)

Código Delphi [-]
procedure TForm1.FormCreate(Sender: TObject);
var
stream:TMemoryStream;
begin
    if fileexists('C:\Archivo.dat') then
      begin
      try
       stream:=TMemoryStream.Create;

         stream.LoadFromFile('C:\Archivo.dat');

            ZQuery1.SQL.Add('INSERT INTO temp(imagen) VALUES(:ARCHIVO);');
            ZQuery1.ParamByName('ARCHIVO').LoadFromStream(stream,ftBlob);
            ZQuery1.ExecSQL;

      finally

            stream.Free;
      end;

      end;
end;

funciona siempre y cuando el campo declarado en la base de datos postgres sea de tipo BYTEA, y se hubiese cambiado la configuración en el archivo "postgresql.conf" del postgres, pues hubo un cambio en la forma en que se comporta este campo de la versión 8 a la 9 de postgres, y el cambio que hay que realizar es el siguiente:

buscar la linea comentada en el postgresql.conf
# bytea_output = 'hex'
y cambiarla por
bytea_output = 'escape'

si no se realiza este cambio, el campo por defecto entregara nuestros datos en hexadecimal, asi los hubiesemos guardado en binario.(esto lo averigüe despues de horas de documentación, pues casi no vi documentación al respecto) lo publico para quienes tienen el mismo problema
aclaro que es para postgres 9.02
ahh!!
y para leer el dato almacenado o guardarlo...
un simple casting

Código Delphi [-]
...
TBlobField(ZQuery1.FieldByName('imagen')).SaveToFile('C:\archivo.jpg');
...

muchas gracias por tu información y tu ayuda KATODO
saludos desde Colombia

[franktrevi]

CREATE FUNCTION loin (cstring) RETURNS lo AS 'oidin' LANGUAGE internal IMMUTABLE STRICT;
CREATE FUNCTION loout (lo) RETURNS cstring AS 'oidout' LANGUAGE internal
IMMUTABLE STRICT;
CREATE FUNCTION lorecv (internal) RETURNS lo AS 'oidrecv' LANGUAGE internal
IMMUTABLE STRICT;
CREATE FUNCTION losend (lo) RETURNS bytea AS 'oidrecv' LANGUAGE internal
IMMUTABLE STRICT;

CREATE TYPE lo ( INPUT = loin, OUTPUT = loout, RECEIVE = lorecv, SEND = losend,
INTERNALLENGTH = 4, PASSEDBYVALUE );
CREATE CAST (lo AS oid) WITHOUT FUNCTION AS IMPLICIT;
CREATE CAST (oid AS lo) WITHOUT FUNCTION AS IMPLICIT;

Fuente:
astbook.asteriskdocs.org/en/2nd_Edition/asterisk-book-html-chunk/I_section12_tt1578.html

Usando el tipo de datos lo de Postgres, los componentes ADO en delphi 7 (probado) funciona igual que el tipo image de MSSQL
tanto como para recuperar como para guardar fotos en la BD

[Casimiro Notevi]

Recordar etiquetar el código.



.