[DarkMan]

Si el panel es constante y no se crea y se destruye, sabiendo su nombre desde el principio puedes eliminar todos los botones de ese tipo que contenga.

Modificando un poco la función quedaría algo así:

Código Delphi [-]
procedure BorrarSpeedBtns(Panel: TPanel);
var
  i: Integer;
begin

   for i:= ComponentCount -1 downto 0 do
     if Components[i].ClassType = TSpeedButton then
       If Components[i].Parent = Panel then Components[i].Free;

end;