Hola,
Para almacenar datos temporales para este caso como el tuyo, lo más cómodo es trabajar con conjuntos. Delphi implementa esto de una manera muy simple, ya que es el mismo concepto que los conjuntos cuando te los enseñan en básica =).
Aquí te pongo un ejemplo de cómo trabajar con conjuntos en Delphi.
Código Delphi
[-]type
TSelecciones = set of 1..255;
var
Seleccionados: TSelecciones;
procedure TForm1.Button1Click(Sender: TObject);
begin
Seleccionados := [1, 2, 3];
if not (4 in Seleccionados) then ShowMessage('No está el número en el conjunto :-(');
Seleccionados := Seleccionados + [4];
if 4 in Seleccionados then ShowMessage('Ahora está el número en el conjunto =)');
end;
Saludos y espero que te ayude