Hombre, pues como mejor va a quedar es usando APIs gráficas (OpenGL, Direct3D), aunque cuesta mucho aprender a manejarlas bien, así que te recomiendo utilizar algún motor gráfico, que no es más que una capa de software que te permite independizar tu aplicación del API utilizado, proporcionandote un conjunto de clases mucho más fáciles de usar (pero mucho) que programar directamente el API de video.
Yo utilizo GLScene, y te aseguro que en dos días estarás haciendo lo que propones y mucho más.
http://glscene.sourceforge.net/index.php
Echale un vistazo, merece la pena. El problema es que no existe mucha documentación, pero si vas mirando los ejemplos (hay un montón) le irás pillando el punto enseguida.