No te fijes en los datos del administrador de tareas.
Podrías usar MemProof para analizar si tu aplicación tiene MemoryLeaks, o si tenes BDS 2006 o superior, podes usar el define del compilador REPORTMEMORYLEAKS del manejador de memoria (FastMM) para que la misma aplicación te reporte si hay problemas con la memoria.
Una vez tu programa ponga disponible la memoria, ya windows decidirá cuando usarla de nuevo.
Hasta luego.