Hola,
En la ayuda del Windows SDK (Software Development Kit) a la que puedes acceder desde Delphi tienes toda la información necesaria para trabajar con la función ShellExecute. Conviene que la eches un vistazo.
En cualquier caso, utilizando la función como se muestra más abajo consigues lo que planteas en tu pregunta:
Código Delphi
[-]
ShellExecute(Self.Handle, PCHar('open'), PChar('explorer.exe'),
PChar('http://www.clubdelphi.com'), nil, SW_SHOWNORMAL);
Se trata aquí de llamar al ejecutable del Explorador de Windows, pasándole como parámetro, en este caso, la dirección de Internet que se requiere abrir. Haciéndolo así consigues tu objetivo: abrir una nueva ventana del explorador con la URL cuyo contenido es preciso mostrar al usuario.
De todos modos, permíteme que insista en la ayuda sobre la función que nos ocupa, pues, ni siquiera estoy seguro del uso de dicha función tal y como la escribo, y, aunque todo va como se espera, seguramente, da para mucho más y así es bien saber qué puede ofrecerte, exactamente.