¿Que funcion de borrado de archivos usas?
Te recomiendo que primero uses FindFirst, FindNext y FindClose y cuando hayas acabado con esas funciones uses esa funcion de borrado de directorio (RemoveDir). Puedes buscar en la ayuda de delphi que te esplica muy bien como usar esas tres funciones que te he comentado.
Suerte compañero