Y que se me suben hasta el cogote

[[AzidRain]]

La pesadilla de todo administrador de servidores de base de datos, me alcanzó hoy: "table xxx is marked as crashed" en un sistema basado en MySQL en producción, con 4 sucursales en linea y ninguna pudiendo hacer nada hasta que se resolviera el detalle. Ojo, el software MySQL corre en un servidor Dell dedicado, nada de pcs "habilitadas"

Afortunadamente el error se detectó y e bendito "repair table" arregló el asunto, no sin antes perder 11 registros que se identificaron y se recapturaron. Pero mientras...como decimos en México..."hasta azúcar me dió".

Ahorita ya todo esta al 100% y pues mejor capturar 11 registros que restaurar el respaldo de ayer sobre todo por la cantidad de información que se mete, tengo tablas de casi 500 mil registros y la que se daño tiene 250 mil.

A alguien le ha pasado algo similar? Yo uso MySQL desde siempre casi, y nunca me había dado problemas. Quienes usan FB que me pueden comentar, me intriga que problemas se presentan en esa BD pues trabaja muy distinto a MySQL en cuanto a organización de archivos se refiere.


Saludos a todos y un largo fiuuuuu....

[jacanche]

Empezado por AzidRain

La pesadilla de todo administrador de servidores de base de datos, me alcanzó hoy: "table xxx is marked as crashed" en un sistema basado en MySQL en producción, con 4 sucursales en linea y ninguna pudiendo hacer nada hasta que se resolviera el detalle. Ojo, el software MySQL corre en un servidor Dell dedicado, nada de pcs "habilitadas"

Afortunadamente el error se detectó y e bendito "repair table" arregló el asunto, no sin antes perder 11 registros que se identificaron y se recapturaron. Pero mientras...como decimos en México..."hasta azúcar me dió".

Ahorita ya todo esta al 100% y pues mejor capturar 11 registros que restaurar el respaldo de ayer sobre todo por la cantidad de información que se mete, tengo tablas de casi 500 mil registros y la que se daño tiene 250 mil.

A alguien le ha pasado algo similar? Yo uso MySQL desde siempre casi, y nunca me había dado problemas. Quienes usan FB que me pueden comentar, me intriga que problemas se presentan en esa BD pues trabaja muy distinto a MySQL en cuanto a organización de archivos se refiere.


Saludos a todos y un largo fiuuuuu....

Pues mira, solo una vez, hace como 4 años se me "murió" una base de datos firebird, y eso fue por que el disco duro se llenó,, despues de eso ningun problema con corrupción de datos, y eso que es un sistema que funciona 24 x7, las unicas veces que apago el servidor son dos veces al año para darles mantenimiento preventivo. la base de datos es de aprox 90 gb, con cuantro o cinco tablas que casi contienen un millón de registros. En algunas localidades en las que hay problemas de energia electrica y que a veces el servidor se apaga inesperadamente, cuando se reinicia el server la base de datos se inicia sin errores.

Saludos
Alfredo

[[duilioisola]]

Nuestra aplicación tiene también cientos tablas (948 tablas, 1526 procedimientos y 2507 triggers, 315 vistas) en Firebird 1.5.
Las instalaciones llegan a bases de 4Gb aprox.
Hace muchos años, cuando trabajábamos con Firebird 1.0 habíamos tenido algún problema, pero luego de actualizar nunca más.
Incluso una vez cuando los electricistas cortaron la luz 3 o 4 veces en el día mientras todo el mundo (20 personas aprox.) estaba trabajando.
Lo único que hubo que hacer es volver a encender el Linux y ya 'ta...

[Casimiro Notevi]

Bueno, vuelvo a copiar lo que he comentado en otras ocasiones:

Empezado por casimiro

Uso Firebird (antes Interbase, cuando no existía) desde 1998, todos los días, centenares de clientes y mi experiencia en mi trabajo es que firebird es estupenda, todos nuestros clientes tienen instalados servidores linux con firebird, todos usan la versión classic porque la superserver está más pensada para windows y una sola cpu.
Los clientes más grandes oscilan entre las 50 y 300 conexiones simultáneas.
Las bases de datos tienen una media de 1,5 GB, con varios de ellos que han soprepasado los 10, 20 e incluso los 30 GB.
Los servidores (en los clientes más grandes) son todos de varias cpu, lo normal 4 u 8.
Desde que empezamos a usar Firebird, (y antes Interbase), los únicos problemas han sido por roturas físicas de disco duro, incendios en la sala de ordenadores, robos de los equipos, etc. pero nunca, jamás, repito lo de nunca jamás (hasta ahora, toco madera) hemos tenido ningún problema con ninguna base de datos.
Permite backups en caliente, sin que tenga que desconectarse nadie. Escala estupendamente, con consumo mínimo de memoria, NO necesita mantenimiento alguno, es ultra rápida, increiblemente rápida. Permite replicación con utilidades de terceros o mediante la opción propia "shadow", que crea y mantiene una base de datos copia de la original en tiempo real en cualquier otro disco de la red (en linux).
Tiene versiones para windows, linux, solaris, macosx, hp-ux, etc. preparada para funcionar tanto en 32 como en 64 bits.
Hay versiones también "embebidas" que no necesitan instalación. Incluso se puede crear bases de datos en modo "sólo lectura" para instalarlas en cds, por ejemplo.
Además es libre, tienes todo el código fuente, y por si fuese poco, gratis.

Sólo puedo contar lo que he vivido, y ha sido lo que he puesto ahí remarcado: "hasta ahora, nunca jamás, hemos tenido ningún problema con ninguna base de datos firebird". (Vuelvo a tocar madera )

Otra cosa no puedo decir porque es lo que he vivido.

p.d.: por supuesto, hay muchas tablas que tienen decenas de millones de registros. Sin problemas.

Edito: jacanche habla de una BD de 90 Gigas, tampoco está nada mal

[juanelo]

Pues yo hasta hace poco apostaba todas mis barajas por firebird, pero resulta que con un cliente en particular nos dio un error por demas rarisimo del cual despues de invertirle mucho tiempo no le hayamos y decidimos para este cliente trabajar con SQL 2008 server. El problema es que de la nada la base de datos empezaba a crecer desmesuradamente, ni siquiera proporcionalmete con el numero de operaciones sobre esta, asi podian ingresar 10 registros o 1 millon y esta crecia 100 veces o mas en tamaño.
Uds diran que es cuestion de transacciones pero les digo que el mismo sistema SIN NINGUNA DIFERENCIA corre con muchos clientes mas, con muchisimo mas trafico a la base, ademas de que ha sido checado con monitores de base de datos que me reportan que ninguna transaccion queda al aire, y nunca que me ha dado problemas. Afortunadamente nuestro sistema tiene la capacidad de poder correr para SQL Server, Firebird y en teoria para Oracle.
La verdad es que seguimos saliendo por defecto con FB, pero nos queda esa espina de desconfianza.
Edito: Se cambio de servidor, se creo la base de datos desde cero y nada que se corrigio para este cliente.

[Casimiro Notevi]

Bueno, todos sabemos que frases como "todo está igual", "son sistemas idénticos", "nadie ha tocado nada", etc. es simplemente IMPOSIBLE

[juanelo]

Empezado por Casimiro Notevi

Bueno, todos sabemos que frases como "todo está igual", "son sistemas idénticos", "nadie ha tocado nada", etc. es simplemente IMPOSIBLE

Tienes razon, no podemos asegurar que las condiciones en que corren nuestros sistemas son las apropiadas y las idoneas, mas si el caso es que es un sistema que se distribuye como es mi caso. Pero te puedo asegurar que para este caso en particular, personalmente me ocupe del problema y nada. Se usaron monitores como para la base de datos y todos los usados reportaban lo mismo, cero transacciones al "aire" o no terminadas.
Firebird es una excelente base de datos, tanto lo es para nosotros que nuestro sistema se instala con ella por defecto, pero no puedo decir desafortunadamente para mi al menos que es 100% confiabale (aunque dudo que haya alguna que lo pueda ser ).
Saludos

[Casimiro Notevi]

Empezado por juanelo

El problema es que de la nada la base de datos empezaba a crecer desmesuradamente, ni siquiera proporcionalmete con el numero de operaciones sobre esta, asi podian ingresar 10 registros o 1 millon y esta crecia 100 veces o mas en tamaño.

Aunque eso no es un error , si aumenta de tamaño es porque se está almacenando algo, otra cosa no hay, y si sigue funcionando correctamente entonces no hay problema. La duda es ¿qué se estaba almacenando?, eso desde aquí no te lo puedo decir, pero seguro que tiene una explicación muy lógica

[juanelo]

Empezado por Casimiro Notevi

Aunque eso no es un error , si aumenta de tamaño es porque se está almacenando algo, otra cosa no hay, y si sigue funcionando correctamente entonces no hay problema. La duda es ¿qué se estaba almacenando?, eso desde aquí no te lo puedo decir, pero seguro que tiene una explicación muy lógica

Pues si tu lo dices creeme que no lo dudo, pero despues de muchas horas ($$) tratando de resolver el problema y no hayar nada logico para que tenga este comportamiento, pues decidi ya no seguir investigando que pasó y pensar que es la excepcion a la regla.
Saludos.

[Casimiro Notevi]

Hombre, de la nada no crece, yo quiero creer que las pruebas no se hicieron mirando la base de datos, sin nadie conectado, y ésta crecía y crecía como un globo. Eso sí sería preocupante. Supongo que habría gente conectada y trabajando sobre ella. Por lo tanto sí se estaba haciendo algo, aunque sea consultar.
Pero en fin, le salió barato al cliente, cambiar una libre y gratis por una de microsoft con las licencias de servidor, puestos, más la del windows server... para nada, por gusto

[juanelo]

Empezado por Casimiro Notevi

Hombre, de la nada no crece, yo quiero creer que las pruebas no se hicieron mirando la base de datos, sin nadie conectado, y ésta crecía y crecía como un globo. Eso sí sería preocupante. Supongo que habría gente conectada y trabajando sobre ella. Por lo tanto sí se estaba haciendo algo, aunque sea consultar.
Pero en fin, le salió barato al cliente, cambiar una libre y gratis por una de microsoft con las licencias de servidor, puestos, más la del windows server... para nada, por gusto

Lo que se observó son las transacciones y los registros "basura", claro, los registros basura se acumulaban por cientos y por miles, el problema es que no tengo o al menos no se la forma de hacer que estos registros basura no se generen en tan grande numero. Y repito, la misma aplicacion (mismos exe's y dlls, comparados binariamente para no tener dudas de que son los originales) corriendo con clientes mucho mas pesados que este, cero problemas .
Con respecto al SQL Server olvide el "pequeño" detalle de que fue la version express, es decir, la gratutita.
Saludos

[Casimiro Notevi]

Bueno, esta conversación ya no sirve de nada porque se le cambió el sistema, pero en fin... si se crean registros de transacciones es porque se está haciendo algo, aunque sea consultas, pero eso no es malo, es así, no hay que preocuparse por ello. Sin en otro sitio no ocurría es simplemente porque hay menos consultas que involucren a muchos registros o cualquiera sabe cómo trabajan habitualmente. Pero, repito, es que eso no es nada malo, eso simplemente, es así.
Y luego, si se instaló la versión "express" de Microsfoft sql, que está limitada a unos pocos gigas, entonces la base de datos no era tan grande como para preocuparse por ella. Yo estaba pensando en decenas de gigas, como mínimo.
Lo dicho, que se le cambió "por gusto", y aunque sea la "express", tiene que funcionar sobre windows, que ese sí paga licencia. Y su antivirus... y toda las "cositas" que requiere windows.

[juanelo]

Empezado por Casimiro Notevi

Bueno, esta conversación ya no sirve de nada porque se le cambió el sistema, pero en fin... si se crean registros de transacciones es porque se está haciendo algo, aunque sea consultas, pero eso no es malo, es así, no hay que preocuparse por ello. Sin en otro sitio no ocurría es simplemente porque hay menos consultas que involucren a muchos registros o cualquiera sabe cómo trabajan habitualmente. Pero, repito, es que eso no es nada malo, eso simplemente, es así.
Y luego, si se instaló la versión "express" de Microsfoft sql, que está limitada a unos pocos gigas, entonces la base de datos no era tan grande como para preocuparse por ella. Yo estaba pensando en decenas de gigas, como mínimo.
Lo dicho, que se le cambió "por gusto", y aunque sea la "express", tiene que funcionar sobre windows, que ese sí paga licencia. Y su antivirus... y toda las "cositas" que requiere windows.

Pero claro que es normal que se la base de datos crezca, y tambien lo es que se genere "basura" que luego el garbage collector se encarga, lo que no es normal que con una base de datos que recibe tan pocas consultas y ni se diga de escrituras, esta crezca desmesuradamente, por ejemplo: de 100 mb crecia a 1 gb en cuestion de horas, cuando el movimiento es sumamente bajo, creeme tengo clientes con el mismo sistema con FB y base de datos que hoy dia deben de rondar los 60 - 70 gb, 50 usuarios simultaneos y este va como brisa de mar en primavera.
Aqui el punto era que cuando el garbage collector entraba a hacer su trabajo, dejaba la base de datos practicamente bloqueada, y te repito esto en cuestion de horas, claro que para mi cliente se tornó inoperante, y con esto te respondo que no fue por gusto ni mucho menos, y si tienes toda la razon cuando dices que deberia de ser una base de datos pequeña, dado su volumen de transacciones.
Y Precisamente esto es para mi lo mas preocupante, que teniendo instalacion que superan por mucho, muchisimo a esta, se presenten estos problemas.
Y como al final del día esto se trata de dinero, lo mejor para mi este caso fue cambiar el motor de base de datos, y santo remedio para mi cliente que hoy dia ya está feliz con su sistema.
Pero me queda esta espina clavada de porque sucedio esto, en fin, no es para convencer sino para exponer la problematica que es real y reproducible con dicha base de datos.
Saludos.

[[newtron]]

Empezado por juanelo

... y tambien lo es que se genere "basura" ....

Yo esto de la "basura" con FB no lo tengo muy claro, ¿qué es? ¿registros borrados que no se reutilizan? ¿archivos temporales que mueren y no se entierran?. ¿Alguien me ilumina?

Saludos

[Casimiro Notevi]

La arqutectura multi generacional. Firebird maneja varias versiones para un mismo registro al mismo tiempo, para que cada transacción tenga su propia versión, su propia "imagen" de la realidad. Así es posible, por ejemplo, poder leer siempre sin "molestar" a los que escriben. Y los que escriben no molestan a los que leen.
Ejemplo básico: alguien hace una actualización (update) de un registro y otra persona está leyéndolo (select), pues hasta que el que está actualizando no confirme los cambios (commit), el que está leyendo seguirá viendo lo que había hasta que el otro confirme.
Es por lo que cada vez que se realiza cualquier acción sobre la base de datos, esta va creando registros "imágenes" de la "realidad" justo en ese momento, de esa forma no es necesario, por ejemplo, bloquear registros, ya que cada uno tiene una imagen del momento en que realiza cualquier acción.
Existe un mecanismo que cada cierta cantidad de registros que ya no sirven se deshace de ellos, aunque es configurable para ponerlo a más o menos registros, incluso para deshabilitarlo y sólo se realizará cuando nosotros lo queramos.

Por eso decía que no es ningún problema, simplemente funciona asi, y no importa que crezca la base de datos, toda la vida ha sido así, siempre ha funcionado así, es una de las características que tiene firebird, la MGA (multi generational architecture). Y que otros han copiado.

[[newtron]]

Empezado por Casimiro Notevi

Existe un mecanismo que cada cierta cantidad de registros que ya no sirven se deshace de ellos...

Entonces imagino que el tema de la "basura" no debería de preocupar al administrador de la base de datos porque ella misma se va limpiando, ¿no?. Te pregunto porque veo que es habitual entre muchos usuarios de FB el hacer y restaurar copia de seguridad para eliminarla.

[Casimiro Notevi]

Exacto, se elimina automáticamente y el espacio desocupado se reutiliza para nuevos registros.
Cuando se hace backup/restore se eliminan también y no se restauran.
Es configurable, por defecto "limpia" cada 20.000, pero puedes poner el valor que quieras, o deshabilitarlo y hacerlo cuando tú quieras.
Para contestar a tu pregunta: no tienes que hacer nada, no hace falta un administrador que se preocupe de eso, es automático. Nunca jamás me he preocupado por ese asunto, ningún cliente se ha preocupado nunca por eso. Lo más que recuerdo es que alguien diga:
Oye, que la base de datos crece mucho
¿Y cuánto mide ahora?
Ocupa 0,7 Gb.
¿Y De cuánto es el disco?
De 500 Gigas
Bien, pues todavía puede crecer 700 veces ese tamaño
¿Entonces no me precoupo?
Preocúpate de vender y ganar dinero para pagarme a mí

[defcon1_es]

Empezado por juanelo

El problema es que de la nada la base de datos empezaba a crecer desmesuradamente, ni siquiera proporcionalmete con el numero de operaciones sobre esta, asi podian ingresar 10 registros o 1 millon y esta crecia 100 veces o mas en tamaño.

Acabo de tener un "deja vú" cuando he leido tu post:

Hace algunos años, a un cliente le pasaba que su BD Firebird le crecía unas 10Mb cada vez que facturaba un albarán de venta...
El sistema le permitía guardar una "fotocopia" de la factura en un campo blob de la BD según el diseño de la factura (hecho con QuickReport y editable con QRDesign), hasta aquí todo bien.

El diseño muestra un campo blob para el logotipo de la empresa.

Pero al hombre no se le ocurrió otra cosa que poner una imagen para el logo de su empresa que pesaba esos 10Mb, esa imágen era la que le hizo el diseñador del cartel que tenía en la fachada.

Cuando le pregunté si no se le ocurrió reducirle el tamaño, me contestó:

"Es que me dijisteis que podía ponerle cualquier imagen..."

Con dos cojones!!!

[Casimiro Notevi]

Pues imagina sólo 10 conexiones y unos simples "select" cada una... ya tiene más de 100 megas, sólo con eso
A mí también me ha pasado diversas veces, que para un simple logo ponen una imagen enorme de montones de megas.

[roman]

Empezado por Casimiro Notevi

Ejemplo básico: alguien hace una actualización (update) de un registro y otra persona está leyéndolo (select), pues hasta que el que está actualizando no confirme los cambios (commit), el que está leyendo seguirá viendo lo que había hasta que el otro confirme.

Pero no me queda claro. ¿Qué pasa si lo que la segunda persona está leyendo es la existencia de un producto y vende algo cuando el primero actualizó diciendo que ya no había de ese producto? Es decir, no me queda claro como se evitan los bloqueos.

// Saludos