No se si entendí bien Paco...
Puedes comenzar con un recorrido sobre la lista dos, donde están los archivos que potencialmente quieres borrar.
Tomas cada elemento y lo buscas en la lsita uno... puede ser con
Código Delphi
[-]resultado:= ListBox1.Items.IndexOf(NombreDelArchivo)
Si el resultado es -1 quiere decir que el archivo no ha sido encontrado y lo eliminas físicamente con
Código Delphi
[-]SysUtils.DeleteFile(RutaDelArchivo + NombreDelArchivo);
¿Si entendí bien lo que querías?