Hay algo que no me cuadra, y es que a la primera select le falta el group.
Y como dice Casimiro, no debe tardar demasiado en hacer una select simple, a menos que tenga una conexión muy mala con la base de datos o que no tengas indice o lo que sea.
A lo mejor quieres mejorar el rendimiento por la carga inicial, que tardará más de la cuenta. Si es por eso, lo mejor es usar:
Código Delphi
[-]
ClientDataSet1.DisableControls;
CargarDatos;
ClientDataSet1.EnableControls;
Y ya no se me ocurre nada más