Yo veo una forma de hacerlo sencilla, basta con que te crees una tabla donde tengas todos los datos de cada vivienda, e incluyas 2 campos más que serían las coordenadas X e Y en la imagen.
Cuando te soliciten una dirección, basta con que dibujes cualquier flecha sobre las coordenadas de la vivienda.
Creo que esta opción, con lo que nos indicas, pues ir bien, porque otra cosa sería meterte en temas de cartografía...
Un saludo