Hola,
Creo que, si usas el componente "IdPop3", de los
componentes Indy, cuentas ya con un método "Delete()", si no recuerdo mal, ya digo. Por otro lado, puedes descargar las "demos" de estos componentes, a modo de ejemplos, puesto que incluyen uno que es un cliente de correo más o menos completo, y que, otra vez si no recuerdo mal, incluye la posibilidad que mencionas.
PD. Si no contaras ya con el método "Delete()", que me parece que sí, siempre podrías ejecutar un "comando de servidor", precisamente, para borrar mensajes, que, me parece era "DEL" o "DELE" o algo así... tendrías que mirarlo en el protocolo POP3.