Yo te recomendaría utilizar herramientas existentes, y probadas, por ejemplo el VNC. Y el famoso botoncito podría iniciar el servidor de VNC.
Esto no quita que puedas desarrollar todo el mecanismo en Delphi, yo hice algo con este fin, en algún momento(
PMachine2Bin.rar ) pero no creo que sea necesario reinventar la rueda.
Saludos!