Si configuras el "memo" para sólo lectura (
readonly) no deberías tener problemas.
En cualquier caso, para desarrollar juegos no te recomiendo que uses la VCL. Mejor usa bibliotecas (o motores) específicamente diseñados para hacer juegos; así no tendrás que lidiar con problemas como este.
Si estás interesado en el desarrollo de videojuegos, pásate por
http://www.pascalgamedevelopment.com. También puedes echar un vistazo
al portal de desarrollo de videojuegos de la wiki de Lazarus (muchas bibliotecas y motores que hay ahí funcionan con Delphi).