Tail -f en delphi

paquechu · #1 21-03-2013

Buenas,
Aunque llevaba bastante tiempo sin programar ya en delphi, mi jefe me ha pedido que me ponga el mono de trabajo de nuevo :-)
Estoy un poco pegao con lo que tengo que hacer y es por lo que busco vuestra ayuda.

Se trata de lo siguiente: Debo hacer un programa que inspeccione un archivo de log abierto por otra aplicación y al que ésta última le esta añadiendo líneas contínuamente (hay rotación de logs diaria).
Por cada línea debo realizar un análisis por temas de seguridad.
No se muy bien por donde empezar.
Me podeis echar una mano por favor?
Muchas gracias

ecfisa · #2 21-03-2013

Hola paquechu.

Si tenes acceso al código fuente de la aplicación que genera el archivo (log), podes enviar la última línea generada mediante la estructura COPYDATASTRUCT y luego capturar el mensaje WM_COPYDATA desde la aplicación que monitorea.

En estos enlaces tenes algunos ejemplos:

Saludos.

paquechu · #3 21-03-2013

Hola ecfisa,
Pues lo cierto es que no tengo acceso al codigo de la aplicación.
Se trata de logs generados en formato texto por un servidor ISA Server de Microsoft.
Debo localizar el archivo, abrirlo y empezar a leer desde el final línea a línea...
Saludos y gracias :-)

ecfisa · #4 22-03-2013

Hola paquechu.

Entonces, en principio depende de con que "sharing options" haya abierto el archivo la otra aplicacion.

¿ Ya intentaste abrirlo para lectura, estando activa la aplicación generadora y te mostró algún error ?

Saludos.

paquechu · #5 22-03-2013

Hola de nuevo,
Pues no, la verdad es que no se muy bien como enfocarlo, más que por el modo en el que está abierto el archivo por como leer el archivo que se está alimentando constantemente por otra aplicación y gestionar esas entradas en vivo.
Saludos.

ecfisa · #6 22-03-2013

Hola paquechu.

Para leer el archivo de texto podes hacer:
1)

Código Delphi [-]var
  F  : TextFile;
  str: string;
begin
  AssignFile(F, FNAME);
  Reset(F);
  while not Eof(F) do
  begin
    Readln(F,str);
    // aquí lo que hagas con str
  end;
  CloseFile(F);
end;

2)

Código Delphi [-]var
 SL: TStrings;
begin
  SL := TStringList.Create;
  try
    SL.LoadFromFile(FNAME);
    // aquí lo que hagas con SL[n]
  finally
    SL.Free
  end
end;

Un ejemplo que devuelve la última línea del archivo log:

Código Delphi [-]function GetLastLine(const aFileName: string): string;
var
  FS  : TFileStream;
  buf : Char;
  i   : Integer;
begin
  FS := TFileStream.Create(aFileName, fmOpenRead);
  try
    Result := '';
    i := FS.Size + 2; 
    repeat
      FS.Seek(FS.Size-i, soEnd);
      FS.Read(buf, SizeOf(buf));
      Insert(buf, Result, 1);
      Inc(i);
    until buf = #10;
  finally
    FS.Free;
  end;
end;

// llamada ejemplo
procedure TForm1.Button1Click(Sender: TObject);
begin
  ShowMessage(GetLastLine('C:\ARCHIVO_LOG.LOG'))
end;

De este modo es mucho mas rápido que leer todo el archivo si te decidis por obtener datos con, por ejemplo, un TTimer.

Pero el último código es sólo una aproximación, con muchos supuestos, podría funcionar o no dependiendo del formato con que guarda las líneas la aplicación. Sería muy útil si pudieras poner textualmente (copiar/pegar) un trozo del texto que se genera en el archivo log.

Ahora si lo que estas buscando es obtener la última línea en tiempo real y la aplicación generadora no envía ningún mensaje cuando terminó de guardar una línea, no conozco como lograrlo.

Espero que alguna opción te sea útil.

Saludos.

mamcx · #7 22-03-2013

He echado una mirada en como se hace en python:

http://code.activestate.com/recipes/...l-f-in-python/

y veo que es necesario ademas usar sleep (muy corto) para poder leer de forma continua.

paquechu · #8 22-03-2013

Hola ecfisa,
Si, conocia los metodos señalados en los puntos 1 y 2.
Mi consulta va mas en la línea de lo que indicas en el punto 3, en la parte de identificar cuando se genera una nueva línea en el archivo (en tiempo real) y entonces leer la linea completa y procesarla.
Es un buen comienzo el que me indicas asi que empezaré por ahí :-)
Gracias ecfisa.

paquechu · #9 22-03-2013

Hola mamcx,
tomo nota del retardo necesario aunque de phyton no tengo ni papa, je,je

Al final de la pagina que referencias aparece este codigo, si controlas delphy y phyton podrias orientarme en la adaptación del código?:
Muchas gracias.
def tail_f(file):
interval = 1.0

while True:
where = file.tell()
line = file.readline()
if not line:
time.sleep(interval)
file.seek(where)
else:
yield line
Which then allows you to write code like:
for line in tail_f(open(sys.argv[1])):
print line,

[nlsgarcia] · #10 23-03-2013

paquechu,

Cita:

Empezado por paquechu

...Debo hacer un programa que inspeccione un archivo de log abierto por otra aplicación y al que ésta última le esta añadiendo líneas contínuamente.....Debo localizar el archivo, abrirlo y empezar a leer desde el final línea a línea...

Revisa este código:

Código Delphi [-]unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, ExtCtrls;

type
  TForm1 = class(TForm)
    Timer1: TTimer;
    ListBox1: TListBox;
    procedure Timer1Timer(Sender: TObject);
    procedure FormCreate(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

function GetFileLastLine(const Filename : String) : String;
var
   StrFile : TStringList;
begin
   try
      StrFile := TStringList.Create;
      StrFile.LoadFromFile(Filename);
      Result := StrFile[StrFile.Count-1];
   except
      on E: Exception do
      begin
         MessageDlg(E.Message, mtError, [mbOk],0);
         Result := '';
      end;
   end;
   StrFile.Free;
end;

procedure TForm1.Timer1Timer(Sender: TObject);
begin
   ListBox1.Items.Add(GetFileLastLine('C:\Test_File.txt'));
end;

procedure TForm1.FormCreate(Sender: TObject);
begin
   Timer1.Interval := 100;
end;

end.

El código anterior lee de forma continua por medio de un control TTimer cada 100 ms la última línea de un archivo de texto y la adiciona a un control TListBox para su posterior procesamiento.

Nota: Este código fue probado con un archivo de texto de 2.000.000 de líneas de forma satisfactoria.

Espero sea útil

Nelson.

mamcx · #11 23-03-2013

Seria bueno almacenar cuantas lineas habian en la lectura anterior y luego restarlas, porque un log puede recibir varias lineas nuevas mientras esta el timer esperando.

paquechu · #12 24-03-2013

Vaya!, perdonad, estaba enfrascado con el tema de marras todo este tiempo....
Le he echado un vistazo al código.
Dices que puedes cargar 2.000.000 de lineas en el tstringlist, aunque no se el tamaño maximo (no de lineas) sino de memoria que se puede cargar con un tstringlist.
Lo voy a probar, me preocupa el tiempo de carga y el consumo excesivo de memoria.
Muchas gracias :-)