Hola,
Según entiendo, keytool es una herramienta de java, y, por otro lado, también así se llama tu archivo bat. Es posible entonces, que en la línea
Código:
keytool -import -trustcacerts -keystore %JAVA_SECURITY%cacerts -storepass %KEYTOOL_PASS% -noprompt -alias %CERT_ALIAS% -file %CERT%
el S.O esté intentando llamar al bat (o sea, a sí mismo) en lugar de la herramienta de java. De ahí la recursividad.
Si esto es lo que pasa, podrías solventarlo especificando la ruta completa a la herramienta y/o cambiando el nombre del bat.
Por otra parte, si la herramienta es un ejecutable, pienso que podrías ejecutarla directamente desde la sección [Run] del script de Inno Setup, en ligar de hacerlo a través de un bat. Aun no siendo un ejecutable (un archivo jar, por ejemplo), la documentación de InnoSetup indica que puedes ejecutarla especificando la opción shellexec.
// Saludos