BD muy grandes ¿Qué criterio usar?

[[coso]]

Bueno, quiza seria mejor usar la bd unicamente para referenciar los archivos (aunque de la manera que hablas, con solo 9 "colecciones", tampoco haria mucha falta usar una base de datos). En cuanto a buscar texto dentro de cada coleccion, etc, usaria mas bien codigo propio, o bien llamando a programas externos (por ejemplo, crear un grep.exe o usar alguno existente, pues es algo antiguo y los hay de muy muy buenos) que escanearan los archivos, recogiendo su resultado y que lo mostrase tu programa

[mamcx]

Y que contiene cada coleccion? Se les hace OCR a las imagenes? Que es lo que se busca?

[[duilioisola]]

A mi me falta información para poder decidir sobre este tema:
- Cada colección tiene 50GB de qué? (qué tipo de imagen, texto, video, audio, etc.)

- Esa colección es un solo archivo o está separado en miles de archivos (imágenes, textos, etc.)

Si son miles de archivos, podrás utilizar la base de datos para buscarlos, si son solo 9 archivos, no vale la pena.

Cuando quieras seleccionar algo que haz encontrado, y quieras traértelo,
- ¿Te traerás 50GB?
- ¿Te traerás 1 o 2 GB de texto?
- ¿Te traerás pocos megas de una imagen o un archivo?
- ¿Te traerás solo el nombre y la descripción del archivo?

Una base de datos, con un campo blob que tenga que traerse mas de 100MB supongo que será muy lento.

También te puedes hacer un diccionario en una base de datos que te dijera que palabra de más de 4 letras está en qué archivo y así poder hacer búsquedas.

Todo esto, también hay que pensarlo en cuanto a velocidad de subida/bajada.
- Si es a travez de internet y tienes que bajar una colección serán 50GB.
- Si es a travez de internet y tienes que bajar un texto serán 1-2GB.
- Si es a travez de internet y tienes que bajar parte de un texto.

[[Lepe]]

Ejem, un punto de vista diferente: Los campos Blob no se guardan como un campo más del registro. En realidad, en el registro se guarda un IDBlob, el blob físico por tanto, quedará en otra parte del archivo. Por ello la "eficiencia" no tiene nada que ver con la longitud del campo Blob.

Incrustar imágenes en la BBDD está justificado para no lidiar con rutas que algún avispado, pueda cambiar el nombre del archivo/carpeta.

Dejar los archivos fuera está justificado para no lidiar con un sólo archivo de 500 GB, por ejemplo.

Para más información consultar el buscador, ya hay discusiones suficientes como para empezar otra, además veo que PaFernan99 ya tomó una decisión al respecto.

Volviendo al tema: yo opino de forma distinta a coso. Yo Incluiría todos los textos dentro de la BBDD; fuera de ella sólo los archivos de gran tamaño. Esto te permite:
- hacer búsquedas flexibles sin necesidad de herramientas externas.
- Unir la información de varias tablas (muy posiblemente distintos archivos) haciendo la búsqueda más compacta y eficiente.
- filtros muy especializados.
- etc.

En cuanto al texto no lo tengo claro, dices que la imagen escaneada es de 1 GB pero, ¿tienes posibilidad de pasarlo al bloc de notas y guardarlo para saber el tamaño real del texto?

Si son grandes descripciones o artículos de revista, te sería de gran utilidad guardar palabras de referencia para las búsquedas (algo así como los tags de las páginas web o Youtube), en lugar de buscar en el texto del artículo, buscas en esas referencias. Sin duda acortaría las búsquedas muchísimo.

OFFTOPIC: coso, yo sólo tengo 9 propiedades... no es mucho, algunas son: BP, CARREFOUR, EL CORTE INGLÉS, GM, SPAINAIR... ¿tendré volumen de información que guardar .

Saludos

[[coso]]

bueno, la polemica esta servida:

se guarda el id y el raw data, si tienes una imagen jpeg de 25 gb comprimida y la guardas tipo raw (o sea el estilo BLOB habitual, a no ser que quieras trabajar un poco) probablemente te crecera a unos 125 gb. Creo que es mejor dejarlo en formato jpg, no?

Volviendo al tema: yo opino de forma distinta a coso. Yo Incluiría todos los textos dentro de la BBDD; fuera de ella sólo los archivos de gran tamaño. Esto te permite:
- hacer búsquedas flexibles sin necesidad de herramientas externas.

si bien sql esta muy bien para buscar texto en bases de datos, lo que tardara muchisimo es cargar y descargar todos estos datos a memoria para luego buscar en ellos. quiza seria mejor buscar directamente a disco no? 50 gb de texto el so pasara a memoria cache y, al final, sera lo mismo que buscar desde disco directamente.

- Unir la información de varias tablas (muy posiblemente distintos archivos) haciendo la búsqueda más compacta y eficiente.

50gb + 50gb = 100gb...no creo que la busqueda fuese mas compacta y eficiente.

- filtros muy especializados.

si miras lo que le propuse (grep.exe) veras que no es mas que un antecedente de lo que ahora se usa para filtros y busquedas.

En cuanto al texto no lo tengo claro, dices que la imagen escaneada es de 1 GB pero, ¿tienes posibilidad de pasarlo al bloc de notas y guardarlo para saber el tamaño real del texto?

el bloc de notas no te carga 1gb de datos

OFFTOPIC: coso, yo sólo tengo 9 propiedades... no es mucho, algunas son: BP, CARREFOUR, EL CORTE INGLÉS, GM, SPAINAIR... ¿tendré volumen de información que guardar

claro que tendras volumen, lo que no tendras son entradas para la bd. En tu caso asi haria un sistema de carpetas y en ellas poner toda la información necesaria, y en la base de datos tansolo poner las referencias a estas carpetas y a los archivos. Aunque, si se que van a ser pocas las entradas, puedo saltarme directamente el paso de la base de datos y que la aplicacion mirara, por ejemplo, el numero de carpetas que existe y sacar la información necesaria de ellas directamente : en vez de un dbgrid, usaria un ttreeview, para que lo entiendas.

[[Lepe]]

Empezado por coso

bueno, la polemica esta servida:

No, no lo está porque no estoy por la labor de crear polémica .

Empezado por coso

el bloc de notas no te carga 1gb de datos

[/quote]

Me refería a cuanto ocupa en modo texto ese giga escaneado en forma bitmap.

Saludos

[[coso]]

OFFTOPIC: coso, yo sólo tengo 9 propiedades... no es mucho, algunas son: BP, CARREFOUR, EL CORTE INGLÉS, GM, SPAINAIR

ya te gustaria a ti ser propietario de BP, GM, SPANAIR...

[[Lepe]]

Empezado por coso

ya te gustaria a ti ser propietario de BP, GM, SPANAIR...

Buena respuesta .

Volvamos al topic, según algunos compañeros faltan datos (estoy de acuerdo), si fuera posible concretar un poco más, quizás tengan algún As escondido debajo de la manga.

Saludos

[PaFernan99]

Perdón por la tardanza pero estuve fuera unos días.
En las próximas horas voy a revisar leer este topic y a responder a las preguntas realizadas para profundizar mas en este tema.
En este momento no me es posible...

Saludos y mil gracias a todos!

[Neftali [Germán.Estévez]]

Empezado por coso

Si pone imagenes de 10Gb...

Empezado por Lepe

En cuanto al texto no lo tengo claro, dices que la imagen escaneada es de 1 GB pero, ¿tienes posibilidad de pasarlo al bloc de notas y guardarlo para saber el tamaño real del texto?

Creo que cuando habla de esos tamaños, se refiere a todas las imágenes (50 GB) y a todos los textos (2 GB), no que una imagen ocupe eso y un texto ocupe eso.
Tal vez deba aclararlo.

Una imagen de 25 GB debe ser la luna escaneada palmo a palmo...
Podría ser una foto de 40x30 metros escaneada a 5 Megapixels.

[[coso]]

si, ahora mismo estaba releyendo y lo seguia encontrando exagerado...hasta que vi la palabra total voy a tener que graduarme las gafas