A ver, xampp es un paquete que incluye, entre otras cosas, apache, mysql y php que son los tres componentes básicos para desarrollar apicaciones Web con PHP usando MySQL como base de datos. Si vas a hacer una aplicación en delphi, entonces, de esos tres componentes sólo necesitas MySQL.
Entonces, lo que tienes que hacer es descargar
mysql para windows e instalarlo en la máquina donde desarrolles y en la máquina donde instales la aplicación, o, mejor dicho, en la máquina que se vaya a usar de servidor de datos, si es que varias estaciones hacen uso de tu aplicación.
Si tu usuario únicamente accede a la base en su máquina puede instalar mysql ahí (con el intalador que te indico). Le especificas que corra como servicio de manera que esté siempre abierto. Así, ttu usuario únicamnte tiene que abrir tu aplicación.
// Saludos