Hola,
Si buscas en
Torry's Delphi Pages por el "término"
rtf2html encuentras un componente (se incluye su código fuente) que logra lo que persigues, y, aunque se hizo hace años con/para Delphi 2, lo cierto es que acaso te sea de utilidad.
Por otro lado si realizas una búsqueda en
Google algo como
"rtf2html with Delphi" te toparás con el componente mencionado arriba pero también con otras posibles soluciones a tu problema.
Por otro lado, no sabría decirte si como planteas (usando objetos OLE) podrías hacerlo o no; será cuestión de que alguien te proporcione otra respuesta y/o te amplíe la información al respecto.