Consulta Insert Lenta

[jnavapal]

Buenos Tardes.
En primer lugar me presento . Soy Jose Carlos un informático que esta aprendiendo a la vez que luchando con el mundo SQL y busco un poco vuestra ayuda.

Actualmente me he encotnrado una query que se demora muchisimo y estoy seguro que tiene q existir otra forma de realizarla. No obstante no consigo encontrarla.

La query en si es un Insert que en el where tiene una subquery para comprobar que no inserta dos veces lo mismo. He probado con group by y demas pero no consigo solucionar este "bucle" de insercion consulta insercion etc.

Os pongo la query .

Código SQL [-]
INSERT  INTO TABLA_A ( RPC_PER_RES, RPC_COD_EST, RPC_COD_BASE, RPC_COD_RES,
        RPC_COD_PROD, RPC_COD_POLI, RPC_COD_COBE,
        RPC_NUM_HOM, RPC_RES_HOM, RPC_EDAD_HOM,
        RPC_OBS_STAT, RPC_COD_LOB, RPC_COD_CHANNEL, RPC_COD_CLASE, RPC_COD_SUN)
        SELECT periodo,     pEstado, 'COL', 'RK',
        decode(a.riesgo_principal,'ca','c', a.riesgo_principal),
         poliza, cobertura,
        COUNT(distinct GRUPO||IDOPERACION||nvl(NUMEROASEGURADO,0)||nvl(NUMEROCARGA,0)),
        sum(nvl(cap_inicuf,0)),
        sum(trunc(months_between(last_day(to_date(periodo,'yyyymm')),fechanac)/12))/count(*),
        'VALORES A' ,
        lineanegocio, canaldeventa, ideerr, CODINTEGRACION
        from  TABLAGRANDE a, MENSUAL h
        where periodo = pPeriodo
        AND NVL (aquienafecta, 'x') <> 'P'
        AND NVL(aju_afecto,0) = 0
        AND NVL(aju_exento,0) = 0
        AND EXISTS ( SELECT NULL
                 FROM temp_polizas iwf
                 WHERE iwf.lineanegocio != 5
                 AND iwf.poliza = h.poliza
                 AND iwf.periodocobro != 'U'
                 AND RIESGO != 'DG' )
        AND NOT EXISTS  (SELECT RPC_COD_POLI
                                        FROM TABLA_A
                                        WHERE RPC_PER_RES = pPeriodo
                                        AND RPC_COD_EST = pEstado
                                        AND RPC_COD_BASE = 'COL'
                                        AND RPC_COD_RES = 'RK'
                                        AND RPC_COD_PROD = producto
                                        AND RPC_COD_POLI = to_char(poliza)
                                        AND RPC_COD_COBE = to_char(cobertura) )
        AND add_months(h.hasta, nvl(PRIMAMESESDELTA,0)) >= LAST_DAY (TO_DATE (pPeriodo, 'yyyymm'))
        AND a.RIESGO = h.RIESGO
        group by periodo,
        decode(a.riesgo_principal,'ca','c', a.riesgo_principal),
        poliza, cobertura,
        lineanegocio, canaldeventa, ideerr, CODINTEGRACION ;

Muchas gracias de antemano por la ayuda

[Neftali [Germán.Estévez]]

Así, sólo con la SQL es bastante difícil saber dónde puede estar el problema.
Lo primero sería que comentaras con qué motor trabajas (esto por situarnos), luego lo suyo sería que intentarás acceder al PLAN DE EJECUCIÓN de la consulta. Si supueramos el gestor y kla herramientas que estás utilizando podríamos decirte cómo obtenerlo.

Una vez visto el plan, deberías poder saber qué parte de la consulta está tardando más de la cuenta. El SELECT, la INSERCIÓN (triggers), las ORDENACIONES, el GROUP BY, la SUBSELECT,...

Y una vez que sepas la parte que está tardando podrás intuir qué es lo que hay que optimizar.

Imagino que tienes definidas PK's, índices,...

[[AgustinOrtu]]

una subquery para comprobar que no inserta dos veces lo mismo

Eso suena a "estoy usando un cuchillo para sacar un tornillo"

Hay maneras mucho mas faciles de solventar tu problema:

- Podrias definir claves primarias compuestas
- O podrias usar un trigger para validar la insercion

Por otra parte, una consulta SQL de ese tamaño a mi me resulta alarmante

Otros problemas que hacen que sea lenta es que usas mucho strings, convertis entre varios tipos de datos, y no es una subconsulta, son tres

[Casimiro Notevi]

Es que eso no es un "insert", eso es un insert con un select anidado...
y un count distinct y un sum, y otro sum, y un count(*) !!!
y otro exists con otro select anidado, y un not exists con otro select anidado...
y un group by
y todo aderezado de montones de campos de texto, concatenaciones de campos, ...

No es un insert, es un desastre

Me temo que tendrás que ir poco a poco, probando cada parte del código para ir mejorándolo y afinándolo.

[mamcx]

Ahi lo que veo mas problematico son los EXIST y mas que todo el NOT EXIST. Normalmente eso no es muy eficiente de hacer.

Que el SELECT de insercion sea "grande" no es en si el problema (es posible hacer inserciones de 1-4GB -dependiendo de motor y parametros- en unos <200 segundos en hardware medio medio, siempre y cuando todo este alineado ). Asi que pon atencion a lo que te estan diciendo que eso se puede mejorar bastante...

[jnavapal]

Os comento un poco mas. Esta query ya existía en un PL SQL y me alarmo mucho. Y estoy intento optmizarla , por no decir hacerla bien. Al hacer prueba comprobé que uno de los principales problemas era el tema de comprobar si estaba insertado ya en al tabla en la que había insertado.
Aunque llevo dándole vueltas y se q esta mal , no se me ocurre que hacer.Por eso acudo a vuestra ayuda.

Por cierto la info que me solicitabais .

BBDD Oracle 10g

Programa con el que trabajo TOAD

Explain plan

Plan
INSERT STATEMENT ALL_ROWSCost: 132.612 Bytes: 287 Cardinality: 1
9 SORT GROUP BY Cost: 132.612 Bytes: 287 Cardinality: 1
8 HASH JOIN ANTI Cost: 132.611 Bytes: 287 Cardinality: 1
6 NESTED LOOPS Cost: 6.437 Bytes: 252 Cardinality: 1
4 NESTED LOOPS Cost: 6.436 Bytes: 244 Cardinality: 1
2 SORT UNIQUE Cost: 202 Bytes: 704.256 Cardinality: 44.016
1 TABLE ACCESS FULL TABLE temp_polizas Cost: 202 Bytes: 704.256 Cardinality: 44.016
3 REMOTE REMOTE SERIAL_FROM_REMOTE MENSUAL CONSULTA.WORLDCost: 1.073 Bytes: 228 Cardinality: 1
5 REMOTE REMOTE SERIAL_FROM_REMOTE TABLAGRANDE Cost: 1 Bytes: 8 Cardinality: 1
7 TABLE ACCESS FULL TABLE TABLA_A Cost: 126.173 Bytes: 996.030 Cardinality: 28.458

Por cierto muchísimas gracias por la ayuda que dais.

Un saludo

[Casimiro Notevi]

Empezado por jnavapal

...uno de los principales problemas era el tema de comprobar si estaba insertado ya en al tabla en la que había insertado.

Solo es necesario crear una clave o índice único por ese campo, y automáticamente saltará una excepción indicando que ya existe.

[jnavapal]

El problema es que en esa tabla se hacen otras inserciones que si pueden repetirse . Solo son las que vienen las de este insert las que no.

[Casimiro Notevi]

Empezado por jnavapal

El problema es que en esa tabla se hacen otras inserciones que si pueden repetirse . Solo son las que vienen las de este insert las que no.

¿Pero no estás hablando de un campo que no se puede repetir?

[jnavapal]

No se puede repetir los que provienen de ese insert (para ser mas exacto de ese select) . Seguidamente tiene otros insert que se basan en select distintos y si podrían repetirse.

es decir al solucion de una clave , la contemple pero me encontré con ese problema. Lo que pensé como "solución intermedia" es una tabla temporal con la clave y después un insert con un select de la tabla temporal. La cosa es que me niego a pensar que sea la mejora solución....

[Casimiro Notevi]

Sigo sin entender. ¿Es un campo que no puede repetir datos si los inserta "un usuario", pero sí puede repetir datos si los inserta "otro usuario"?
Un campo admite/no admite repetir información, pero no vale eso de a veces sí y a veces no.
¿Cómo sabes que cuando se insertó estaba permitido que se repetiera o no?
Está mal ideada la estructura... eso no puede funcionar así.

[mamcx]

Empezado por jnavapal

Plan
INSERT STATEMENT ALL_ROWSCost: 132.612 Bytes: 287 Cardinality: 1
9 SORT GROUP BY Cost: 132.612 Bytes: 287 Cardinality: 1
8 HASH JOIN ANTI Cost: 132.611 Bytes: 287 Cardinality: 1
6 NESTED LOOPS Cost: 6.437 Bytes: 252 Cardinality: 1
4 NESTED LOOPS Cost: 6.436 Bytes: 244 Cardinality: 1
2 SORT UNIQUE Cost: 202 Bytes: 704.256 Cardinality: 44.016
1 TABLE ACCESS FULL TABLE temp_polizas Cost: 202 Bytes: 704.256 Cardinality: 44.016
3 REMOTE REMOTE SERIAL_FROM_REMOTE MENSUAL CONSULTA.WORLDCost: 1.073 Bytes: 228 Cardinality: 1
5 REMOTE REMOTE SERIAL_FROM_REMOTE TABLAGRANDE Cost: 1 Bytes: 8 Cardinality: 1
7 TABLE ACCESS FULL TABLE TABLA_A Cost: 126.173 Bytes: 996.030 Cardinality: 28.458

Yo creo que entiendo lo que estas intentando. Estas recolectando datos de multiples fuentes para (me imagino) hacer reporteria en base a eso. Algo muy tipico, pero que siempre se enfrenta a los lios de tener mas datos de lo que se puede tragar.

Enfocate en el PLAN porque esto es lo mas clave. No tengo ni idea de ORACLE, nunca lo he usado pero todos los RDBMS siguen unas lineas universales.

Leyendo el plan (y que conste que me voy por pura intuición!):

https://docs.oracle.com/database/121...htm#TGSQL94854

1- Estas accesando un servidor REMOTO mediante un link.

REMOTE REMOTE

Esto me parece que a la larga es lo mas critico. Si el servidor esta fuera de una red interna con una excelente conectividad (donde el Throughput sea constante) esto podria ser una fuente cuasi-invisible de problemas. Las redes tienden a tener velocidad variable, y un analisis de promedios siempre sera errado.

Puedes usar una tarea que jale esos datos de forma continua y poner todo local?

Ademas, no se como rayos hace ORACLE aqui y si ese LINK es contra otro ORACLE, pero dudo que pueda ver los indices y estadisticas del servidor remoto.

2- NESTED LOOPS es un indicativo que el motor no puede beneficiarse de indices ni de las estadisticas de rendimiento. Esto es RE-MALO, porque es un JOIN que sera EXPONENCIAL:

http://use-the-index-luke.com/sql/jo...oin-n1-problem

(Enormemente te recomiendo que estudies no solo este link, sino este sitio).

3- TABLE ACCESS FULL TABLE

Es un table-scan, o sea, no hay indice ni estadisticas, es menos malo que un NESTED LOOP porque no es un join, y es malo A MENOS QUE los datos que jale sean pocos, sean sequenciales.

Esto es lo mas notable del PLAN. Casi siempre los costos de SORT y GROUP seran secundarios y solo parecerán problemas cuando se combinan con table scans y loops.

-----------

La clave para el desempeño en toda BD, y en especial, el modelo relacional, es tener un esquema bien diseñado (o sea, SANO).

Una BD al igual que un humano es feliz si los datos son UNICOS, ASCENDENTES, DIFERENCIADOS y CONTINUOS. Eso es lo que en términos mas técnicos logra los pasos de normalizar y desnormalizar la información.

Luego el uso adecuado de INDICES+NORMALIZACION para el lado de LECTURA, pero para el de INGESTA/ESCRITURA/MASIVO es lo *contrario*: Si puedes prescindir de indices y desnormalizar mucho mejor.

Esto es la indicacion de que hacer cuando se esta agregando mucho dato de muchas fuentes con potencialmente ninguna posibilidad de indices y todo eso (por ejemplo, cuando los datos vienen de texto plano): Es mejor poder *TRAGAR RAPIDO* contra una tabla sin indices y desnormalizada, luego *agregar indices* y luego jalar de esa para el resto de los pasos. Asi es como se hace en un datawharehouse.

Ahora bien, eso es un batch, y muchas veces si los datos son pocos (unos cuantos GB por ingesta) o se quiere ser "casi tiempo real" entonces lo que debes es armar una "linea fluida de datos (data pipeline)", lo cual es con buen hardware (ideal disco SSD y RAM >32GB) y/o poder jalar en STREAMS constantes particionados.

-------
Dejando la teoria: Si el acceso remoto no se puede obviar, intenta DESNORMALIZAR ALLA MISMO!. Ten los datos "pre-amasados" quizas usando una VISTA MATERIALIZADA:

https://docs.oracle.com/cd/B10501_01...7/repmview.htm

Una vez que tienes los datos preparados, en el lado de lectura revisa el tema de los indices y ten en cuenta lo explicado.

-----

Ahora si los datos van a crecer bastante, hacer todo desde el motor puede ser un problema (si ademas ese esta encargado de servir el lado transaccional) y puede que te toque mejor armar un PIPELINE, que es eso? Un programa que de forma continua vaya alimentando la tabla destino desde las de lectura pero fuera del motor y que pueda operar "lento" pero con una rata constante de memoria/cpu. Pero ojo, solo si esto amerita por el aumento constante de la ingesta.

[jnavapal]

Guau . Me pongo ahora mismo a estudiar todo lo que me mandas.

Muchisimas gracias por el tiempo que te ha tomado.

Actualizare con lo que logre.

Si alguien tiene alguna otra idea , estoy abierto a mas sugerencias.

[rastafarey]

Divide y vencerás, esa es la idea que puedo ofrecerte. Te imaginas una vez soluciones ese problema y tengas una instruccion Sql de ese tamaño, pasado tres meses tengas que solucionar algún error en la aplicación que tenia ducha consulta, tu crees que vas a entender que hacia ducha consulta, a menos que la documentes muy bien. Solo digo que es preferible trabajar un poco mas y dividir hasta donde nos permita la aplicación, la ingeniería del software y el análisis y diseño de sistemas, ya que el 60% del tiempo se consume en mantenimiento, osea mas que el desarrollo. Que quiero decir con esto que debemos poner esfuerzo en que nuestras aplicaciones sean fácil de mantener y modificar para que tengan una vida util.

Enviado desde mi SM-G900H mediante Tapatalk

[[fjcg02]]

Hola,
yo haría lo siguiente:
1.- Ejecutar la consulta sólo, ya te meterás con el insert luego.
2.- Tomar el tiempo
3.- Cambiar los EXISTS y NOT EXISTS por cláusulas left join o similar. Te supondrá un poco de trabajo pero creo que puede ser más efciente.
4.- Una vez hecho esto, probar a cambiar el orden de las cláusulas de las where, para ver si dependiendo del mismo te utiliza índices o no.

Si no sabes cómo, pregunta.

Ya nos dirás.

Saludos

Código SQL [-]

INSERT  INTO TABLA_A ( RPC_PER_RES, RPC_COD_EST, RPC_COD_BASE, RPC_COD_RES,
        RPC_COD_PROD, RPC_COD_POLI, RPC_COD_COBE,
        RPC_NUM_HOM, RPC_RES_HOM, RPC_EDAD_HOM,
        RPC_OBS_STAT, RPC_COD_LOB, RPC_COD_CHANNEL, RPC_COD_CLASE, RPC_COD_SUN)
        SELECT periodo,     pEstado, 'COL', 'RK',
        decode(a.riesgo_principal,'ca','c', a.riesgo_principal),
         poliza, cobertura,
        COUNT(distinct GRUPO||IDOPERACION||nvl(NUMEROASEGURADO,0)||nvl(NUMEROCARGA,0)),
        sum(nvl(cap_inicuf,0)),
        sum(trunc(months_between(last_day(to_date(periodo,'yyyymm')),fechanac)/12))/count(*),
        'VALORES A' ,
        lineanegocio, canaldeventa, ideerr, CODINTEGRACION
        from  TABLAGRANDE a, MENSUAL h
        where periodo = pPeriodo
        AND NVL (aquienafecta, 'x') <> 'P'
        AND NVL(aju_afecto,0) = 0
        AND NVL(aju_exento,0) = 0
        AND EXISTS ( SELECT NULL
                 FROM temp_polizas iwf
                 WHERE iwf.lineanegocio != 5
                 AND iwf.poliza = h.poliza
                 AND iwf.periodocobro != 'U'
                 AND RIESGO != 'DG' )
        AND NOT EXISTS  (SELECT RPC_COD_POLI
                                        FROM TABLA_A
                                        WHERE RPC_PER_RES = pPeriodo
                                        AND RPC_COD_EST = pEstado
                                        AND RPC_COD_BASE = 'COL'
                                        AND RPC_COD_RES = 'RK'
                                        AND RPC_COD_PROD = producto
                                        AND RPC_COD_POLI = to_char(poliza)
                                        AND RPC_COD_COBE = to_char(cobertura) )
        AND add_months(h.hasta, nvl(PRIMAMESESDELTA,0)) >= LAST_DAY (TO_DATE (pPeriodo, 'yyyymm'))
        AND a.RIESGO = h.RIESGO
        group by periodo,
        decode(a.riesgo_principal,'ca','c', a.riesgo_principal),
        poliza, cobertura,
        lineanegocio, canaldeventa, ideerr, CODINTEGRACION ;