La función tan utiliza la instrucción FPTAN para calcular la tangente. La tangente de pi/2 no es una indeterminación, es igual a infinito, y eso es precisamente lo que te esta devolviendo, el número mas alto que puede.
Aquí tienes explicada la instrucción FPTAN
http://www.website.masmforum.com/tut...ap10.htm#fptan