Estas pasando como mal los parámetros, en el parámetro Directory le estas pasando el archivo cuando en realidad lo lógico sería que lo pases en Parameters.
De todos modos, si es de tu agrado, te recomiendo hacerlo así:
Código:
ShellExecute(0, 'open', 'c:\Apeb\Estudios\Ef 5.1-20.rtf', nil, nil, SW_SHOWMAXIMIZED);
y se abrirá el editor por defecto que tenan relacionado los RTF.
Saludos!