Hola,
Me meto donde no me llaman, pero, para lo que nos ocupa, ¿no sirven ciertas cabeceras HTTP, tan socorridas ellas? O sea, si redireccionas a otro archivo e indicas en la cabecera HTTP que se trata de una redirección permanente... ¿esto no se tiene en cuenta por parte del "robot araña" que esté en ese momento trasteando por el sitio Web?
Ea. Ya está.