Hola.
Hace ya casi 3 años desde que se abrió este hilo, y es más que probable que quien lo abrió ya haya encontrado la solucón. Pero tengo una respuesta.
XP_CMDSHELL no reconoce nombres largos. Es decir, que te va a dar igual encerrar o no la ruta y el nombre del ejecutable entre comillas dobles ("). Tienes que escribir el nombre y su ruta haciendo uso de los nombres cortos (los 8.3 de MS-DOS de toda la vida).
Aunque la llamada al ejecutable la metas dentro de un .BAT, el error persiste porque sigue ejecutándose dentro del "perfil" o "entorno" del SQL-Server.
Un problema parecido me estoy encontrando yo con otra cosa, y me estoy volviendo loco para intentar escapar del problema. Lo mío no se soluciona con los nombres 8.3 de MS-DOS.
Un saludo.