[esocrates]

Muchas gracias dec y Ruben_cu por las respuestas.
La explicación de Ruben_cu me aclaró bastante las dudas y por qué el problema se resolvía de este modo:

Código Delphi [-]
procedure TForm1.Button2Click(Sender: TObject);
var
i:integer;
begin
  for i:= 0 to pagecontrol1.PageCount-1  do
  begin
  if pagecontrol1.Pages[i].Name ='pepe'  then
     break;//interrumpe el ciclo


  PageControl1.Pages[i].Free;

   Button2.Enabled:=false;//Para evitar otro evento que lanzaría un error
  end;

end;

Un saludo