Hola, por qué no usar las propiedades controls y controlcount del propio TScrollBox, de esta forma solo recorremos los elementos que nos interesa (controles del ScrollBox1) y simplemente los destruimos.
Código Delphi
[-]
procedure TForm1.Button2Click(Sender: TObject);
var
i : integer;
begin
for i := ScrollBox1.ControlCount -1 downto 0 do
ScrollBox1.Controls[i].Free;
end;
Bueno pues ahora tienes dos vías
Saludos Yusnerqui