Arrays de millones de datos

[elcigarra]

Estimados. Tengo que manejar arrays (o alguna otra herramienta) de al menos 2 millones de números.

La idea es que voy generando numeros aleatorios (Tipo Double) que cumplan algunas condiciones pre fijadas y tengo que guardarlos todos para luego hacer un análisis estadístico del asunto.

El problema es que no se donde guardarlos ya que un array de tantos datos me da "Stack overflow" cuando lo defino.

Pensé en guardarlos en disco pero me pareció que iba a ser demasiado lento. Como lo harían Uds.?

[Neftali [Germán.Estévez]]

En principio seguro que en disco va a ser muy lento, pero en memoria, puede ser que tengas problemas de espacio.
Revisa el consumo de memoria cuando los guardas en array y si el problema radica ahí, deberás optar por la opra opción.

[Casimiro Notevi]

Y una pregunta: ¿vas a necesitar en memoria "al mismo tiempo" esos 2 millones de números?.
Quizás te interese crear un array de punteros, como hacen las hojas de cálculo, que realmente sólo ocupan memoria las "celdas" rellenas, el resto no ocupa más que unos bytes.

[elcigarra]

Empezado por Casimiro Notevi

Y una pregunta: ¿vas a necesitar en memoria "al mismo tiempo" esos 2 millones de números?.
Quizás te interese crear un array de punteros, como hacen las hojas de cálculo, que realmente sólo ocupan memoria las "celdas" rellenas, el resto no ocupa más que unos bytes.

La verdad no sé hacer lo que dices, pero sí estarán rellenos los 2 000 000 de números en algún momento. No son un número variable de lugares ocupados del array de entre 0 y 2 millones... son dos millones de números

[Ñuño Martínez]

Creo que deberías utilizar "bancos", por ejemplo de 1.000 elementos cada uno. En cada momento sólo tienes 10 bancos en memoria mientras que en disco estarán todos. Cuando necesitas un dato de un banco determinado primero compruebas si está cargado en memoria. De no estarlo, lo carga. Si no hay espacio para tener más bancos en memoria, comprueba qué banco es el más "viejo" o el que ha sido utilizado menos veces y lo liberas (guardándolo primero en disco si ha sido modificado) para dejar sitio al nuevo banco.

Esto no sólo hará que necesites menos memoria sino también que vaya más rápido a la hora de modificar la lista en disco, ya que dudo que vayas a modificar todos los 2,000.000 de elementos en una sola vez.

[[coso]]

Hola, puedes probar de generar un array dinamico y luego darle el tamaño conveniente :

Código Delphi [-]
var
        i : integer;
        num : array of double;
begin
        setlength(num,2000000);
        for i := 0 to length(num) - 1 do
        begin
        Label1.Caption := inttostr(i);
        num[i] := random(100000);
        Application.ProcessMessages;
        end;
end;

ten en cuenta por eso que 2000000 de doubles es mucha memoria. Es mas que probable que muchas veces no la encuentre.

[[Lepe]]

Un double son 8 bytes de memoria, 2.000.000 de doubles son 15 MB de memoria, pse, tampoco es tanto, los equipos de hoy suelen tener 2 GB ¿o no?

Que sí, que habrá que tener especial cuidado con reservar la memoria y con las excepciones que pueda dar, pero creo que es viable.

En mi opinión, no andaba cargando "en bancos" los datos, primero haría pruebas a ver que tal va (sobre todo en el equipo del usuario, del cliente), después, si son muchos errores, atacaría por ese lado.

Edito: coso, ya que has hecho la prueba, si quitas el processmessages, ¿cuanto tiempo tarda en recorrer todo el array? (gettickCount creo que era la api...)

Saludos

[[coso]]

Pues no mucho, no...

Código Delphi [-]
var
        i : integer;
        num : array of double;
        ti,tf : integer;
begin
        setlength(num,2000000);
        ti := GetTickCount;
        for i := 0 to 1999999 do
        begin
        num[i] := i;
        end;
        tf := GetTickCount;
        ShowMessage(inttostr(tf-ti));
end;

muestra '16', con application.ProcessMessages, '47'

[elcigarra]

Gracias a todos