Perdón, pero me equivoqué con el nombre de la función :P, lo siento.
La función es "SetWindowRgn"
Aquí tienes un pequeño ejemplo de como utilizarlo.
Código:
procedure TForm1.FormCreate(Sender: TObject);
Var
hRegion : Thandle;
Par : Array [0..1024] of TPoint; // Data -> region
Cnt : Integer;
begin
Cnt := GenRegion(Par, BitBtn1.Glyph,
(BitBtn1.Width - BitBtn1.Glyph.Width+1) div 2,
(BitBtn1.Height - BitBtn1.Glyph.Height+1) div 2);
hRegion := CreatePolygonRgn(Par, Cnt, ALTERNATE);
SetWindowRgn(BitBtn1.handle, hRegion, true);
...
Para más información un par de links
http://www.latiumsoftware.com/es/articles/00003.php
http://www.latiumsoftware.com/es/articles/00004.php