Pues hasta donde tengo conocimiento, el BDE no tiene desinstalador, ya que se considera que la aplicación de uno puede no ser la única que use el BDE en la máquina donde se instaló.
Tal vez exista una forma de hacerlo manualmente y traducir esto a un script para Inno Setup, pero no me he metido mucho en el asunto...
Actualizando: Sabía que lo anterior lo había leido en algún lado y así es, en la Base de Conocimientos (Knowledge Base) de Inno Setup viene:
HOWTO: Deploy BDE (Borland Database Engine)
Saludos...