FTP | CCD | Buscar | Trucos | Trabajo | Foros |
|
Registrarse | FAQ | Miembros | Calendario | Guía de estilo | Temas de Hoy |
|
Herramientas | Buscar en Tema | Desplegado |
#1
|
|||
|
|||
Necesito una BD para manipular mas de cien millones de registros
Buenas tardes, amigos quiero consultarle que base de datos puedo utilizar para manipular mas de cien millones de registros, tengo datawarehouse con Monetdb esta es orientada a columnas, la información que ingreso mensual es de 1.5 millones en una de las BD, tengo la tabla de hecho y 6 dimensiones aqui tengo actualmente ciento diez millones, en la otra BD tengo 90 millones estoy utilizando PENTAHO como BI y los usuarios que los utilizan me dicen que aveces se tarde mucho, aquí no hacen operaciones solo crean sus propios reportes según la necesidad, pero a futuro tenemos que utilizar DataMining (minería de datos), las DB las tengo en servidores diferentes porque si las dejo en un solo servidor se hace bien lento con los reportes. Recurro a ustedes para que me orienten o recomienden que puedo hacer.
Saludos y gracias |
#2
|
||||
|
||||
DB2, Oracle, TAL VEZ (si no fuese tan quisquilloso) MS SQL Server..., o si deseas probar Firebird, sería un buen punto de comparación.
__________________
Felipe Eduardo Ortiz López. Delphi programmers does it recursively... "Un programador, es un creador de universos en donde sólo él es responsable. Universos de complejidad prácticamente ilimitada que se puede crear en forma de programas de ordenador." - Joseph Weizenbaum. Témele a los profetas... y a aquellos que están listos para morir por "la verdad", ya que como regla general hacen morir a muchos otros con ellos, frecuentemente antes que ellos, y a veces en lugar de ellos. — Umberto Eco |
#3
|
||||
|
||||
#4
|
|||
|
|||
tengo un BI en pentaho, la información que manjeamos es sobre el consumo eléctrico a nivel nacional, en la otra bd tengo información de subsidios siempre del sector eléctrico, los reportes que se generan es sobre los consumos de energía ya sea en el sector privado, gobierno, usuarios finales, etc para hacer comparativas y generar políticas de ahorro o meter nuevas tecnologías de eficiencia energética, no tenemos presupuesto para comprar oracle por eso estamos probando con bd free y monetdb ha sido la que mejor rendimiento nos habia dado hace 4 años, pero ahora por la cantidad de registros y lo nuevo que se quiere implementar estamos viendo si cambiamos. tengo información desde el 2009 a la fecha y sigue incrementando.
hicimos una comparación con las base de datos sqlserver y monetdb y en rendimiento gana monetdb ya el query lo hizo en 4 seg, lo compramos con oracle e igual sigue mejor monet. |
#5
|
||||
|
||||
Bien, aunque me refería a datos técnicos: la base de datos (aproximadamente) cuántas tablas tiene, cuántos campos, número de registros, etc. La forma de uso, cuántas conexiones (terminales) tiene, etc. Qué sistema informático hace de servidor, sistema operativo, etc. Qué otros datos relevantes creas que pueda sernos de utilidad para formular un consejo, etc.
|
#6
|
||||
|
||||
Cita:
"Los usuarios dicen..." empecemos por esto. Que REALMENTE ES LENTO (se especifico). CUANTO es lento ( y CUANTO es rapido. Se concreto). PORQUE es lento (lo mas importante). Sin estos datos, lo unico que se puede hacer es adivinar como idiotas. De todas maneras pasado cierto punto en cualquier sistema, las cosas dejan de ser triviales y las soluciones dejan de ser "USAR X" y mas bien son "PONER A GENTE EXPERTA A PENSAR", lo que significa que una vez se agota el recursos de "PONGAMOS TANTA RAM/SSD" lo unico que queda es pagar a gente experta en el tema, o convertirse en el experto, porque pasados ciertos puntos, ya no hay soluciones simples.
__________________
El malabarista. |
#7
|
||||
|
||||
|
#8
|
||||
|
||||
vcastro,
¡Bienvenido al Club Delphi! Te sugiero revisar la Guía de estilo de los foros, recomendada a todos los nuevos ingresos al Club Delphi. Cita:
Pregunto : 1- ¿Has considerado las opciones de entonación de monetdb? 2- ¿Los servidores e infraestructura de red de tu organización a nivel de hardware y software están al nivel de prestaciones requerido por monetdb para el manejo del volumen actual de data? Te sugiero analizar a detalle los supuestos problemas de performance de tu instalación de datawarehouse y las diversas soluciones que no involucren un cambio de la BD, lo cual en el caso que comentas no es algo trivial. Revisa esta información: Cita:
Nelson. |
|
|
Temas Similares | ||||
Tema | Autor | Foro | Respuestas | Último mensaje |
Skype regala 100 millones de minutos para llamadas | nlsgarcia | La Taberna | 1 | 14-11-2014 22:18:14 |
Manejar cien millones de registros | darkerbyte | Conexión con bases de datos | 42 | 19-03-2014 13:12:31 |
consejo para manipular pdf's | MOCOSO07 | Varios | 3 | 31-07-2008 21:30:06 |
necesito ayuda para pasar registros a otra tabla | ddd_ddd | Conexión con bases de datos | 2 | 09-09-2005 20:33:41 |
Insertar 8 millones de registros en interbase... | nacho | Firebird e Interbase | 11 | 17-02-2005 21:34:01 |
|