Hola,
Para cerrar el programa bastaría con ejecutar el método "Close" del formulario principal, algo así:
Código Delphi
[-]
procedure TForm1.Button1Click(Sender: TObject);
begin
Self.Close;
end;
Delphi, así, generalmente, incluye en el ejecutable de un programa lo que necesita para ejecutarse, siempre que no hagas uso de archivos "DLL" de terceros, o, en definitiva, no necesites añadir "algo" que sea menester aparte.
Por regla general, creo que podría decirse, un ejecutable compilado con Delphi para Win32 funcionará en cualquier Windows de 32 bits. Ignoro si desde Windows 95 (diría que sí), pero, prácticamente seguro desde versiones posteriores, incluyendo Windows XP.
Crear un instalador para tu programa, si lo ves necesario, no es demasiado complicado (depende del programa, claro) utilizando alguna herramienta del tipo de
InnoSetup, un programa muy utilizado para estos menesteres, escrito en Delphi, de código abierto y gratuito.