Yo recomiendo OpenGL. Y tranquilo, porque hay una librería para Delphi denominada
GLScene que te puede ayudar mucho con el tema de cargar modelos desde archivos de disco, manejar la cámara, construir escenas, realizar animaciones...
La razón por la que recomiendo OpenGL es porque tendrás muchos menos problemas si el día de mañana tienes que transportar el programa a otro sistema operativo, tal como MacOS, UNIX, Solaris, etc. ya que estos no soportan (y probablemente nunca lo harán) DirectX.