Puedes recorrer todos los componentes del formulario utilizando los métodos componentCount y Componentes[i].
Una vez que hagas el recorrido, se trata de preguntar cuales están dentro del scrollbox para borrarlos; Para ello puedes utilizar la propiedad Parent. Algo así:
Código Delphi
[-]
var
i:Integer;
ctrl:TControl;
begin
for i := (Self.ComponentCount - 1) downto 0 do begin
if (Self.Components[i] is tControl) then begin
ctrl := TControl(Self.Components[i]);
if (ctrl.Parent = ScrollBox1) then begin
MessageDlg('Se va a borrar: ' + ctrl.Name, mtWarning, [mbOK], 0);
FreeAndNil(ctrl);
end;
end;
end;