Archivo de trazas(log) gigantescos

[winzo]

Hola a todos, espero estar poniendo correctamente el hilo en el tema adecuado.

Mi historia es la siguiente:

Yo trabajo en un banco, en el área de sistemas, ultimamente me toca hacer revisiones de incidencias, normalmente no es algo difícil si en la incidencia proporcionan los datos suficientes como para emular semejante error y seguir mis trazas a un nivel local, hasta aquí todo bien.

El problema es cuando ocurre un problema en el ambiente productivo y que tienes que rastrear; Aquí tenemos un log clásico que te genera los datos típicos(fecha, archivo, descripcion, etc...), pero el problema, como ya se peuden imaginar, es que como todos sabemos, los archivos de trazas se van generando horizontalmente y linea por linea, describiendo lo que va ocurriendo en un servidor. Pero, si a las vez entran 1000 personas, se vuelve tremendamente difícil seguir una sola transacción en especial, por no decir que en algunos casos es imposible.


A esto, he pensado algunas soluciones, como por ejemplo, agregar la IP en cada línea del log de quien esta generando la transaccion(lo cual no he logrado hacer aún), pero el problema no se disuelve completamente.

Alguien mencionó un legendario framework(spring) el cual me contó te podía ordenar la transacción en un bloque todo junto y muy legible, pero nadie ha sabido darme razón de tal cosa.

Soy un programador en Java, pero no lo puse en ese tema porque me parece que en cualquier aplicación se puede enfrentar exactamente la misma disyuntiva.


Alguna idea?
Alguna solución?

Bueno, me sirvió de cualquier forma para quitarme el estrés, salduos....

[winzo]

No hay ideas o es que lo puse en el tópico equivocado?

[[José Luis Garcí]]

Hola Winzo, te espongo una idea, de antemano decirte que no trabajo con java, así que pueda decir alguna burrada, pero por lo que comentas lo que quieres es que cuando, se produce un error, si es así, puedes aprovechar en lo que en delphi sería un Try Exect end, para rellenar cunado se produce la exepcion en el log, si no es el caso, lo logico, es que rellenaras el log, en la salida de la oeracion, con los datos normales, más hora de inicio y hora final fecha, etc..

Espero haberte ayudado.

[winzo]

Empezado por José Luis Garcí

Hola Winzo, te espongo una idea, de antemano decirte que no trabajo con java, así que pueda decir alguna burrada, pero por lo que comentas lo que quieres es que cuando, se produce un error, si es así, puedes aprovechar en lo que en delphi sería un Try Exect end, para rellenar cunado se produce la exepcion en el log, si no es el caso, lo logico, es que rellenaras el log, en la salida de la oeracion, con los datos normales, más hora de inicio y hora final fecha, etc..

Espero haberte ayudado.

Mi archivo de log pinta todas las entradas de usuario, desde comentarios basicos para ir siguiendo el flujo de actividades de cada usuario, hasta trazas de errores como dices, incluso sale la fecha, hora, minuto y segundo de la transaccion.

El problema es que cuando se genera un error y hay que rastrear el flujo del usuario para llegar a él, ya que entran a esta apliación miles de personas al mismo tiempo, lo que provoca que las trazas del archivo salgan mezcladas y sea difícil de seguir tal flujo, incluso imposible.

[[fjcg02]]

Hola,
entiendo que para seguir la traza de cualquier cosa, tendrás al menos algún campo común en cada fila; es decir, fecha, acción, resultado, ... y seguramente tendrás un usuario que realiza cada acción/transacción.

Si trabajas en un banco, tendrás un host ( Z90, o similar). El editor del host (no recuerdo el nombre) tiene una versión para windows. También hay otros editores ( no recuerdo cuales, podría ser el ultraedit o el notepad++ ) que permiten en un fichero de texto filtrado horizontal, es decir, ocultar o mostrar sólo aquellas líneas que tengan el patrón que buscas ( ip, usuario, nº de transacción, ...) . En este caso deberías buscar por ese lado, ya que además estos editores te permiten trabajar con ficheros grandes. En caso de que no encuentres esta utilidad, podrías cargar el fichero en excel y filtrar, o en su defecto, si es muy grande el fichero, cargar las líneas en una bbdd tipo acces y utilizar las opciones de filtrado que ofrece, que para este caso suelen ser suficientemente potentes.

Espero haberte ayudado.

Un saludo

[winzo]

Empezado por fjcg02

Hola,
entiendo que para seguir la traza de cualquier cosa, tendrás al menos algún campo común en cada fila; es decir, fecha, acción, resultado, ... y seguramente tendrás un usuario que realiza cada acción/transacción.

Si trabajas en un banco, tendrás un host ( Z90, o similar). El editor del host (no recuerdo el nombre) tiene una versión para windows. También hay otros editores ( no recuerdo cuales, podría ser el ultraedit o el notepad++ ) que permiten en un fichero de texto filtrado horizontal, es decir, ocultar o mostrar sólo aquellas líneas que tengan el patrón que buscas ( ip, usuario, nº de transacción, ...) . En este caso deberías buscar por ese lado, ya que además estos editores te permiten trabajar con ficheros grandes. En caso de que no encuentres esta utilidad, podrías cargar el fichero en excel y filtrar, o en su defecto, si es muy grande el fichero, cargar las líneas en una bbdd tipo acces y utilizar las opciones de filtrado que ofrece, que para este caso suelen ser suficientemente potentes.

Espero haberte ayudado.

Un saludo

Utilizo ultraedit como dices, y si, es muy útil, el problema como he dicho es que a veces es gigantesco este log no tiene una distinción particular, como ejemplo te pongo una línea del log:

ExecuteThread: '14' for queue: 'weblogic.kernel.Default'->2012-01-18 17:11:54,127 DEBUG gfi.miscuentas.controller.SeguridadFilter.doFilter(182): MENSAJEEEEEEEEEEEEEE

Como has podido observar nos entrega fecha, la clase que hizo y cosas por el estilo, lamentablemente no hay un elemento que te permita dicernir de quien hizo que cuando lo ves una línea como esta junto a otras 100000 de personas que hciieron exactamente lo mismo, se puede dar seguimiento, pero es extremadamente complicado y tedioso, basados en el ejmplo que proporcioné.

Busqué en las plantillas que existen para generar un log(pensando en poner la IP al inicio del log), pero no la hay.