Problema con FileListBox

[pgranados]

Buen día compañeros, estoy trabajando con Delphi 10.4 y tengo este problema con un FileListBox.

Necesito trabajar con N cantidad de archivos XML que están en una carpeta "temporal" que cree en tiempo de ejecución, para ello creo un FileListBox igual en tiempo de ejecución para después
con un ciclo FOR trabajar con todos los archivos XML.

Al terminar de trabajar con mis archivos libero el FileListBox con

Código Delphi [-]
FreeAndNil(FileListBox);

y elimino mis archivos .XML pero no me deja eliminar la carpeta que contenía los XML hasta que cierre por completo mi aplicación

Antes de eliminar los archivos intente quitarle el directorio al FLB y después liberarlo pero no, hice una pequeña prueba sin utilizar un FLB y pude eliminar sin problema mi carpeta.

No se que pueda estar haciendo mal, revise el monitor de recursos y efectivamente la carpeta se queda en uso pero no se porque. Pensaría que se quedo algún archivo XML en uso pero no, la carpeta ya no contiene ningún archivo.

Alguna sugerencia? No quisiera rediseñar todo mi procedimiento por el problemita del FLB, pero en caso de no poder solucionarlo tendre que hacerlo

Saludos.