Es verdad, para devolver el control una ventana modal, tienes que asignar un valor a la propiedad
ModalResult.
O sea, pón : ModalResult := mrOk; (o ModalResult := mrCancel; si quieres indicar una cancelación).
Entonces se ejecutará el código que va a continuación de la llamada
ShowModal que se útilizó para llamar al formulario Modal. En este punto puedes consultar el valor de ShowModal, para saber si el usuario realizo con éxito lo esperado en el formulario, o si en cambio lo cancelo.
Código:
...
ShowModal;
if ModalResult = mrOk then
.....
else if ModalResult = mrCancel then
....
Consulta la ayuda de Delphi para más información y ejemplos sobre ShowModal y ModalResult.
Saludos.