Puedes usar el parámetro sender para acceder al panel sobre el que se hace el click. Todos los paneles pueden tener asociado el mismo evento:
Código Delphi
[-]
Procedure TPanelclick( Sender: TObject );
begin
(Sender as TPanel).Caption := 'Seleccionado';
end;