Según he visto por el foro, (que hay bastante sobre el compositeReport) tienes que poner a true la propiedad PrintifEmpty de cada informe.
Por supuesto tendrás que abrir las consultas o tablas de donde saques los datos para cada informe, parece obvio, pero igual se olvida.
Aquí tienes una guía rápida, supongo que habrás hecho eso mismo, o muy parecido.
Edito: en tu carpeta de delphi\demos tienes varios ejemplos de QR3 y uno en concreto del compositeReport
Por mi parte, nunca he usado el CompositeReport, así que no puedo darte más información.
Saludos.