La VCL no afecta lo que demora el IDE !!!!
Los IDES en general son lentos, en especial si tienes un computador de baja capacidad. Aparte del optimizador, lo que puedes hacer es:
1) Mejora o consigue un computador apto para programar: === Tanta RAM como puedas + Disco SSD + Multi-Core
2) Usa un editor de texto y lo configuras para compilar (este parece que esta casi listo:
http://www.editpadpro.com/editdelphi.html, tambien puedes ver sublime text y ver como invocar los comandos build ). La pega grande es no tener un debugger...