Obtener HTML con ligas completas de paginas hechas con CMS

[sakuragi]

Hola que tal, eh estado probando hacer un spider bot que obtenga las ligas de la pagina y las guarde.

toodo bien con la libreria curl de php, se obtiene el codigo HTML generado por las paginas, y se busca href= para obtener la liga.
href="http://drupal.org.es/node (http://clubdelphi.com/foros/view-source:http://drupal.org.es/node/feed)
pero me eh encontrado con el problema que las paginas hechas en CMS (drupal,jommla wikis,etc).

las ligas hacia su mismo sitio salen como rutas locales las cuales las da asi:


<li class="leaf"><a href="/planeta (http://clubdelphi.com/foros/view-source:http://drupal.org.es/planeta)">Planeta DH</a></li>
<li class="leaf"><a href="/manuales (http://clubdelphi.com/foros/view-source:http://drupal.org.es/manuales)">Manuales</a></li>
<li class="leaf"><a href="/foros (http://clubdelphi.com/foros/view-source:http://drupal.org.es/foros)">Foros</a></li>
<li class="leaf"><a href="/servicios (http://clubdelphi.com/foros/view-source:http://drupal.org.es/servicios)" title="">Servicios</a></li>
<li class="leaf"><a href="/faq (http://clubdelphi.com/foros/view-source:http://drupal.org.es/faq)">FAQ</a></li>
<li class="leaf"><a href="/drupal (http://clubdelphi.com/foros/view-source:http://drupal.org.es/drupal)">Sobre Drupal</a></li>
a esas ligas les faltaria http://drupal.org.es (http://clubdelphi.com/foros/view-source:http://drupal.org.es/node/feed), alguien sabe como obtener el HTML con la ruta completa?

saludos gracias

[Ñuño Martínez]

Esas no son rutas locales sino absolutas. Si el primer carácter es la barra inclinada "/", basta con añadirle el dominio. Así que el primero sería "http://drupal.org.es/planeta", el segundo "http://drupal.org.es/manuales", etc.

[roman]

Esas no son rutas locales sino absolutas.

Je, je. Yo diría que son locales absolutas ;)

// Saludos

[Julián]

Pues yo diría que son relativas al nombre de dominio y absolutas al directorio raiz del servidor. :D :D :D

[Ñuño Martínez]

Jo, qué tikismikis...

[sakuragi]

gracias por sus opiniones.

la duda es como sacar del html el domino que pertenecen esa rutas, si en el html puede haber muchas ligas completas con las cuales se puede comparar D:

:rolleyes:

[Ñuño Martínez]

gracias por sus opiniones.

la duda es como sacar del html el domino que pertenecen esa rutas, si en el html puede haber muchas ligas completas con las cuales se puede comparar D:

:rolleyes:

El dominio no se puede sacar de ahí, evidentemente, si no de la propia URL del archivo que descargas, o quizá de la cabecera HTTP.

[sakuragi]

si en eso handaba pensado..

gracias por el dato