Tabla Grande = Lentitud, Porque???

[ELINK]

Tengo una tabla con mas de 180,000 registros y a la hora de hacer un INSERT se demora como dos segundos y medio, cosa que es mucho tiempo comparado con el access que se demoraba menos de medio segundo con la misma cantidad de registros en su tabla, pienso que mientras mas registros tenga en la tabla mas largo va ha ser el tiempo para insertar un registro.
Hay alguna forma de revertir o corregir el problema del tiempo?
(necesito todos los registros en una sola tabla)
Gracias de antemano por sus respuestas