Ayuda con fichero binario

[JoAnCa]

Hola a todos
Quiero almacenar un listado de usuarios en un fichero binario (o no se como se le llamaria a este tipo que yo mismo creo), pero no se como desplazarme por él.

El fichero lo creo de esta forma:

Type Usuarios = record
    Nombre  :String[25];
    Clave   :String[10];
    Permiso :Boolean;
 end;

 var
  MiFile  :File of Usuarios;
  Usuario :Usuarios;

.....
// Para escribir cada usuario en ek fichero

  AssignFile(MiFile, '.\ConActI2.cfg');
  Reset(MiFile);
  Write(MiFile, Usuario);
  CloseFile(MiFile);

//Aqui parece que me reescribe en un solo record, y yo quiero añadir 
//tantos usuarios como se desee
.....

//Para leer del fichero y actualizar un cuadro combinado

 While Not EOF(MiFile) do
  begin
    Read(MiFile, Usuario);
    ComboUser.Items.Add(Codifica(Usuario.Nombre,64));
  end;

....

El problema de aqui es que no se como moverme por el fichero para leer cada uno de los usuarios, solo me lee el ultimo