Consulta Insert Lenta

[jnavapal]

Os comento un poco mas. Esta query ya existía en un PL SQL y me alarmo mucho. Y estoy intento optmizarla , por no decir hacerla bien. Al hacer prueba comprobé que uno de los principales problemas era el tema de comprobar si estaba insertado ya en al tabla en la que había insertado.
Aunque llevo dándole vueltas y se q esta mal , no se me ocurre que hacer.Por eso acudo a vuestra ayuda.

Por cierto la info que me solicitabais .

BBDD Oracle 10g

Programa con el que trabajo TOAD

Explain plan

Plan
INSERT STATEMENT ALL_ROWSCost: 132.612 Bytes: 287 Cardinality: 1
9 SORT GROUP BY Cost: 132.612 Bytes: 287 Cardinality: 1
8 HASH JOIN ANTI Cost: 132.611 Bytes: 287 Cardinality: 1
6 NESTED LOOPS Cost: 6.437 Bytes: 252 Cardinality: 1
4 NESTED LOOPS Cost: 6.436 Bytes: 244 Cardinality: 1
2 SORT UNIQUE Cost: 202 Bytes: 704.256 Cardinality: 44.016
1 TABLE ACCESS FULL TABLE temp_polizas Cost: 202 Bytes: 704.256 Cardinality: 44.016
3 REMOTE REMOTE SERIAL_FROM_REMOTE MENSUAL CONSULTA.WORLDCost: 1.073 Bytes: 228 Cardinality: 1
5 REMOTE REMOTE SERIAL_FROM_REMOTE TABLAGRANDE Cost: 1 Bytes: 8 Cardinality: 1
7 TABLE ACCESS FULL TABLE TABLA_A Cost: 126.173 Bytes: 996.030 Cardinality: 28.458

Por cierto muchísimas gracias por la ayuda que dais.

Un saludo

[Casimiro Notevi]

Empezado por jnavapal

...uno de los principales problemas era el tema de comprobar si estaba insertado ya en al tabla en la que había insertado.

Solo es necesario crear una clave o índice único por ese campo, y automáticamente saltará una excepción indicando que ya existe.

[jnavapal]

El problema es que en esa tabla se hacen otras inserciones que si pueden repetirse . Solo son las que vienen las de este insert las que no.

[Casimiro Notevi]

Empezado por jnavapal

El problema es que en esa tabla se hacen otras inserciones que si pueden repetirse . Solo son las que vienen las de este insert las que no.

¿Pero no estás hablando de un campo que no se puede repetir?

[jnavapal]

No se puede repetir los que provienen de ese insert (para ser mas exacto de ese select) . Seguidamente tiene otros insert que se basan en select distintos y si podrían repetirse.

es decir al solucion de una clave , la contemple pero me encontré con ese problema. Lo que pensé como "solución intermedia" es una tabla temporal con la clave y después un insert con un select de la tabla temporal. La cosa es que me niego a pensar que sea la mejora solución....

[Casimiro Notevi]

Sigo sin entender. ¿Es un campo que no puede repetir datos si los inserta "un usuario", pero sí puede repetir datos si los inserta "otro usuario"?
Un campo admite/no admite repetir información, pero no vale eso de a veces sí y a veces no.
¿Cómo sabes que cuando se insertó estaba permitido que se repetiera o no?
Está mal ideada la estructura... eso no puede funcionar así.

[jnavapal]

Buenas Casimiro siento sino me he explicado bien.

Actualmente tengo una tabla TablaA esta tabla se rellena por varios insert (5 en total)

Estos insert hacen select a tablas distintas:

Insert INTO TABLA_A Select TablaB
Insert INTO TABLA_A Select TablaGrande
Insert INTO TABLA_A Select TablaC
Insert INTO TABLA_A Select TablaD
Insert INTO TABLA_A Select TablaE

Al insertarlos solo me interesa que no se repitan los de la TablaGrande. Es decir pueden existir en TABLA_A dos personas iguales , siempre y cuando no provengan de las TABLA_GRANDE.
Por este motivo no puedo poner clave, ya que de la tabla C y tabla D si pueden existir registros duplicados.

Esta premisa es la que me rompe la cabeza. Ya que sino con las claves como bien dijiste se solucionaría el problema.

Un saludo y de nuevo gracias por la ayuda y perdón por no explicarme bien desde el principio.

[Casimiro Notevi]

Sigo sin entender, o tienes mal los conceptos. A ver si con un sencillo ejemplo nos entendemos.
Una tabla tiene campos, ejemplo:

Código SQL [-]
create tbTablaA (
  id integer not null,
  nombre varchar(64),
  sueldo double
);

No quieres que se repita el campo nombre ¿es eso?
Tienes varias opciones, pero NO VALE permitir nombres repetidos si lo hace "alguien" y no permitir nombres repetidos si lo hace "otro alguien" (Sea "alguien" lo que sea)
Eso es básico. Esa lógica no puede variarse, salvo que quieras encontrarte con graves problemas.
Y en tu caso necesitarás un campo para saber quién hace el insert y realizar unos controles u otros, dependiendo del caso.

[mamcx]

Empezado por jnavapal

Plan
INSERT STATEMENT ALL_ROWSCost: 132.612 Bytes: 287 Cardinality: 1
9 SORT GROUP BY Cost: 132.612 Bytes: 287 Cardinality: 1
8 HASH JOIN ANTI Cost: 132.611 Bytes: 287 Cardinality: 1
6 NESTED LOOPS Cost: 6.437 Bytes: 252 Cardinality: 1
4 NESTED LOOPS Cost: 6.436 Bytes: 244 Cardinality: 1
2 SORT UNIQUE Cost: 202 Bytes: 704.256 Cardinality: 44.016
1 TABLE ACCESS FULL TABLE temp_polizas Cost: 202 Bytes: 704.256 Cardinality: 44.016
3 REMOTE REMOTE SERIAL_FROM_REMOTE MENSUAL CONSULTA.WORLDCost: 1.073 Bytes: 228 Cardinality: 1
5 REMOTE REMOTE SERIAL_FROM_REMOTE TABLAGRANDE Cost: 1 Bytes: 8 Cardinality: 1
7 TABLE ACCESS FULL TABLE TABLA_A Cost: 126.173 Bytes: 996.030 Cardinality: 28.458

Yo creo que entiendo lo que estas intentando. Estas recolectando datos de multiples fuentes para (me imagino) hacer reporteria en base a eso. Algo muy tipico, pero que siempre se enfrenta a los lios de tener mas datos de lo que se puede tragar.

Enfocate en el PLAN porque esto es lo mas clave. No tengo ni idea de ORACLE, nunca lo he usado pero todos los RDBMS siguen unas lineas universales.

Leyendo el plan (y que conste que me voy por pura intuición!):

https://docs.oracle.com/database/121...htm#TGSQL94854

1- Estas accesando un servidor REMOTO mediante un link.

REMOTE REMOTE

Esto me parece que a la larga es lo mas critico. Si el servidor esta fuera de una red interna con una excelente conectividad (donde el Throughput sea constante) esto podria ser una fuente cuasi-invisible de problemas. Las redes tienden a tener velocidad variable, y un analisis de promedios siempre sera errado.

Puedes usar una tarea que jale esos datos de forma continua y poner todo local?

Ademas, no se como rayos hace ORACLE aqui y si ese LINK es contra otro ORACLE, pero dudo que pueda ver los indices y estadisticas del servidor remoto.

2- NESTED LOOPS es un indicativo que el motor no puede beneficiarse de indices ni de las estadisticas de rendimiento. Esto es RE-MALO, porque es un JOIN que sera EXPONENCIAL:

http://use-the-index-luke.com/sql/jo...oin-n1-problem

(Enormemente te recomiendo que estudies no solo este link, sino este sitio).

3- TABLE ACCESS FULL TABLE

Es un table-scan, o sea, no hay indice ni estadisticas, es menos malo que un NESTED LOOP porque no es un join, y es malo A MENOS QUE los datos que jale sean pocos, sean sequenciales.

Esto es lo mas notable del PLAN. Casi siempre los costos de SORT y GROUP seran secundarios y solo parecerán problemas cuando se combinan con table scans y loops.

-----------

La clave para el desempeño en toda BD, y en especial, el modelo relacional, es tener un esquema bien diseñado (o sea, SANO).

Una BD al igual que un humano es feliz si los datos son UNICOS, ASCENDENTES, DIFERENCIADOS y CONTINUOS. Eso es lo que en términos mas técnicos logra los pasos de normalizar y desnormalizar la información.

Luego el uso adecuado de INDICES+NORMALIZACION para el lado de LECTURA, pero para el de INGESTA/ESCRITURA/MASIVO es lo *contrario*: Si puedes prescindir de indices y desnormalizar mucho mejor.

Esto es la indicacion de que hacer cuando se esta agregando mucho dato de muchas fuentes con potencialmente ninguna posibilidad de indices y todo eso (por ejemplo, cuando los datos vienen de texto plano): Es mejor poder *TRAGAR RAPIDO* contra una tabla sin indices y desnormalizada, luego *agregar indices* y luego jalar de esa para el resto de los pasos. Asi es como se hace en un datawharehouse.

Ahora bien, eso es un batch, y muchas veces si los datos son pocos (unos cuantos GB por ingesta) o se quiere ser "casi tiempo real" entonces lo que debes es armar una "linea fluida de datos (data pipeline)", lo cual es con buen hardware (ideal disco SSD y RAM >32GB) y/o poder jalar en STREAMS constantes particionados.

-------
Dejando la teoria: Si el acceso remoto no se puede obviar, intenta DESNORMALIZAR ALLA MISMO!. Ten los datos "pre-amasados" quizas usando una VISTA MATERIALIZADA:

https://docs.oracle.com/cd/B10501_01...7/repmview.htm

Una vez que tienes los datos preparados, en el lado de lectura revisa el tema de los indices y ten en cuenta lo explicado.

-----

Ahora si los datos van a crecer bastante, hacer todo desde el motor puede ser un problema (si ademas ese esta encargado de servir el lado transaccional) y puede que te toque mejor armar un PIPELINE, que es eso? Un programa que de forma continua vaya alimentando la tabla destino desde las de lectura pero fuera del motor y que pueda operar "lento" pero con una rata constante de memoria/cpu. Pero ojo, solo si esto amerita por el aumento constante de la ingesta.

[jnavapal]

Guau . Me pongo ahora mismo a estudiar todo lo que me mandas.

Muchisimas gracias por el tiempo que te ha tomado.

Actualizare con lo que logre.

Si alguien tiene alguna otra idea , estoy abierto a mas sugerencias.