[roman]

Puedes usar FindWindow para encontrar el identificador de la ventana del MessageBox y mandarle el mensaje WM_CLOSE. Por ejemplo, si el título de la ventana es 'Abrir archivo' usarías:

var
  VentanaId: HWnd;

begin
  VentanaId := FindWindow(nil, 'Abrir archivo');
  if VentanaId <> 0 then
    SendMessage(VentanaId, WM_COSE, 0, 0);
end;

// Saludos