Club Delphi  
    FTP   CCD     Buscar   Trucos   Trabajo   Foros

Retroceder   Foros Club Delphi > Principal > OOP
Registrarse FAQ Miembros Calendario Guía de estilo Buscar Temas de Hoy Marcar Foros Como Leídos

Coloboración Paypal con ClubDelphi

Respuesta
 
Herramientas Buscar en Tema Desplegado
  #1  
Antiguo 13-10-2008
elcigarra elcigarra is offline
Miembro
 
Registrado: may 2005
Posts: 269
Poder: 20
elcigarra Va por buen camino
Arrays de millones de datos

Estimados. Tengo que manejar arrays (o alguna otra herramienta) de al menos 2 millones de números.

La idea es que voy generando numeros aleatorios (Tipo Double) que cumplan algunas condiciones pre fijadas y tengo que guardarlos todos para luego hacer un análisis estadístico del asunto.

El problema es que no se donde guardarlos ya que un array de tantos datos me da "Stack overflow" cuando lo defino.

Pensé en guardarlos en disco pero me pareció que iba a ser demasiado lento. Como lo harían Uds.?
Responder Con Cita
  #2  
Antiguo 13-10-2008
Avatar de Neftali [Germán.Estévez]
Neftali [Germán.Estévez] Neftali [Germán.Estévez] is offline
[becario]
 
Registrado: jul 2004
Ubicación: Barcelona - España
Posts: 18.549
Poder: 10
Neftali [Germán.Estévez] Es un diamante en brutoNeftali [Germán.Estévez] Es un diamante en brutoNeftali [Germán.Estévez] Es un diamante en bruto
En principio seguro que en disco va a ser muy lento, pero en memoria, puede ser que tengas problemas de espacio.
Revisa el consumo de memoria cuando los guardas en array y si el problema radica ahí, deberás optar por la opra opción.
__________________
Germán Estévez => Web/Blog
Guía de estilo, Guía alternativa
Utiliza TAG's en tus mensajes.
Contactar con el Clubdelphi

P.D: Más tiempo dedicado a la pregunta=Mejores respuestas.
Responder Con Cita
  #3  
Antiguo 13-10-2008
Avatar de Casimiro Notevi
Casimiro Notevi Casimiro Notevi is offline
Moderador
 
Registrado: sep 2004
Ubicación: En algún lugar.
Posts: 32.257
Poder: 10
Casimiro Notevi Tiene un aura espectacularCasimiro Notevi Tiene un aura espectacular
Y una pregunta: ¿vas a necesitar en memoria "al mismo tiempo" esos 2 millones de números?.
Quizás te interese crear un array de punteros, como hacen las hojas de cálculo, que realmente sólo ocupan memoria las "celdas" rellenas, el resto no ocupa más que unos bytes.
Responder Con Cita
  #4  
Antiguo 13-10-2008
elcigarra elcigarra is offline
Miembro
 
Registrado: may 2005
Posts: 269
Poder: 20
elcigarra Va por buen camino
Cita:
Empezado por Casimiro Notevi Ver Mensaje
Y una pregunta: ¿vas a necesitar en memoria "al mismo tiempo" esos 2 millones de números?.
Quizás te interese crear un array de punteros, como hacen las hojas de cálculo, que realmente sólo ocupan memoria las "celdas" rellenas, el resto no ocupa más que unos bytes.
La verdad no sé hacer lo que dices, pero sí estarán rellenos los 2 000 000 de números en algún momento. No son un número variable de lugares ocupados del array de entre 0 y 2 millones... son dos millones de números
Responder Con Cita
  #5  
Antiguo 13-10-2008
Avatar de Ñuño Martínez
Ñuño Martínez Ñuño Martínez is offline
Moderador
 
Registrado: jul 2006
Ubicación: Ciudad Catedral, Españistán
Posts: 6.003
Poder: 26
Ñuño Martínez Tiene un aura espectacularÑuño Martínez Tiene un aura espectacular
Creo que deberías utilizar "bancos", por ejemplo de 1.000 elementos cada uno. En cada momento sólo tienes 10 bancos en memoria mientras que en disco estarán todos. Cuando necesitas un dato de un banco determinado primero compruebas si está cargado en memoria. De no estarlo, lo carga. Si no hay espacio para tener más bancos en memoria, comprueba qué banco es el más "viejo" o el que ha sido utilizado menos veces y lo liberas (guardándolo primero en disco si ha sido modificado) para dejar sitio al nuevo banco.

Esto no sólo hará que necesites menos memoria sino también que vaya más rápido a la hora de modificar la lista en disco, ya que dudo que vayas a modificar todos los 2,000.000 de elementos en una sola vez.
__________________
Proyectos actuales --> Allegro 5 Pascal ¡y Delphi!|MinGRo Game Engine
Responder Con Cita
  #6  
Antiguo 13-10-2008
[coso] coso is offline
Miembro Premium
 
Registrado: may 2008
Ubicación: Girona
Posts: 1.678
Poder: 0
coso Va por buen camino
Hola, puedes probar de generar un array dinamico y luego darle el tamaño conveniente :

Código Delphi [-]
var
        i : integer;
        num : array of double;
begin
        setlength(num,2000000);
        for i := 0 to length(num) - 1 do
        begin
        Label1.Caption := inttostr(i);
        num[i] := random(100000);
        Application.ProcessMessages;
        end;
end;

ten en cuenta por eso que 2000000 de doubles es mucha memoria. Es mas que probable que muchas veces no la encuentre.
Responder Con Cita
  #7  
Antiguo 13-10-2008
Avatar de Lepe
[Lepe] Lepe is offline
Miembro Premium
 
Registrado: may 2003
Posts: 7.424
Poder: 29
Lepe Va por buen camino
Un double son 8 bytes de memoria, 2.000.000 de doubles son 15 MB de memoria, pse, tampoco es tanto, los equipos de hoy suelen tener 2 GB ¿o no?

Que sí, que habrá que tener especial cuidado con reservar la memoria y con las excepciones que pueda dar, pero creo que es viable.

En mi opinión, no andaba cargando "en bancos" los datos, primero haría pruebas a ver que tal va (sobre todo en el equipo del usuario, del cliente), después, si son muchos errores, atacaría por ese lado.

Edito: coso, ya que has hecho la prueba, si quitas el processmessages, ¿cuanto tiempo tarda en recorrer todo el array? (gettickCount creo que era la api...)

Saludos
__________________
Si usted entendió mi comentario, contácteme y gustosamente,
se lo volveré a explicar hasta que no lo entienda, Gracias.

Última edición por Lepe fecha: 13-10-2008 a las 13:19:55.
Responder Con Cita
  #8  
Antiguo 13-10-2008
[coso] coso is offline
Miembro Premium
 
Registrado: may 2008
Ubicación: Girona
Posts: 1.678
Poder: 0
coso Va por buen camino
Pues no mucho, no...

Código Delphi [-]
var
        i : integer;
        num : array of double;
        ti,tf : integer;
begin
        setlength(num,2000000);
        ti := GetTickCount;
        for i := 0 to 1999999 do
        begin
        num[i] := i;
        end;
        tf := GetTickCount;
        ShowMessage(inttostr(tf-ti));
end;

muestra '16', con application.ProcessMessages, '47'
Responder Con Cita
  #9  
Antiguo 13-10-2008
elcigarra elcigarra is offline
Miembro
 
Registrado: may 2005
Posts: 269
Poder: 20
elcigarra Va por buen camino
Gracias a todos
Responder Con Cita
Respuesta


Herramientas Buscar en Tema
Buscar en Tema:

Búsqueda Avanzada
Desplegado

Normas de Publicación
no Puedes crear nuevos temas
no Puedes responder a temas
no Puedes adjuntar archivos
no Puedes editar tus mensajes

El código vB está habilitado
Las caritas están habilitado
Código [IMG] está habilitado
Código HTML está deshabilitado
Saltar a Foro

Temas Similares
Tema Autor Foro Respuestas Último mensaje
Filtran datos de 6 millones de chilenos MAXIUM Noticias 1 12-05-2008 22:02:59
Asignar valores a Arrays dinámicos - (migrar datos desde CLIPPER) jplj Varios 14 15-10-2007 12:49:48
arrays javascript y php halizia PHP 6 03-05-2007 14:43:31
Arrays dinamicos Besto Varios 4 13-10-2006 16:24:01
arrays nenufer Varios 7 13-05-2006 22:44:51


La franja horaria es GMT +2. Ahora son las 01:21:52.


Powered by vBulletin® Version 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Traducción al castellano por el equipo de moderadores del Club Delphi
Copyright 1996-2007 Club Delphi