En el evento OnKeyPress key es de tipo Char: sólo sirve para cosas que se pueden "escribir".
Para demás VKs, utiliza el OnKeyDown o el OnKeyUp, como ya te han indicado.
Y si quieres utilizar el Key del OnKeyPress como número, utiliza la funcion Ord:
Eso devolverá el valor ASCII (o ANSI, no estoy seguro) de la tecla (letra o símbolo) pulsado. No sirve para teclas como F1, F2..., las flechas, Ctrl, Alt... sólo para cosas que se puedan escribir, Enter, Tabulación, Retroceso, y Escape (y creo que dos o tres más).
Salu2.