Tal vez la idea está bien para pocos objetos, pero está visto que para un número grande la cosa se desmadra.
Creo que debes ir hacia componentes específicos de dibujo, tipo
TSimpleGraph, del que ya he hablado otras veces aquí.
Te lo digo por experiencia, ya que lo he utilizado bastante y con muchos objetos. Aquí
hace tiempo hablé de él y coloqué algunas imágenes (
Imagen 1 y
Imagen 2) donde puedes ver la cantidad de objetos que se definen (en el caso de explanadas, pueden llegar a 7000).
Este componente ya te permite realizar multitud de operaciones con lo elementos que añades; Ya poseen eventos, y operaciones de zoom, pan, impresión, exportación...