Coloca un Tpanel de distinto color al formulario, para poder ver bien el efecto, pon un botón y el siguiente código a modo de ejemplo:
Código:
procedure TForm1.Button1Click(Sender: TObject);
var
rgn:hrgn;
begin
rgn:=CreateRoundRectRgn(0,0,Panel1.width,Panel1.height,30,30);
SetWindowRgn(Panel1.handle,rgn,True);
end;
Un Saludo.