Web bots y 'toa la pesca', ese tema interesante y desconocido

[Ñuño Martínez]

Creo que el Maestro Al se refiere a que uses "analizar (etc.)" en vez de "parsear". Yo no quería decir nada, porque luego me sacáis lo de la letra "x" y...

Respecto a extraer la información, hay que tener en cuenta que los documentos SGML tienen unas normas que facilitan el poder trocearlo para luego analizarlo. Y si partimos de XML, que es más estricto y gerárquico, pues la cosa es incluso más fácil. El último HTML es casi XML, mientras que los anteriores son SGML.

El problema que veo es que la mayor parte de los documentos que hay en la WWW no están bien formateados, porque o no cumplen con el HTML que le corresponde (y a veces ni siquiera con SGML), o no usan correctamente las etiquetas (por ejemplo, usar <table /> como complemente cosmético, o usar <ul /> en vez de <dl />, etc.). Y con HTML5 (que incluye <nav />, <sumary />, <article /> y demás) no creo que lo hagan mucho mejor...

[papulo]

Empezado por Ñuño Martínez

Creo que el Maestro Al se refiere a que uses "analizar (etc.)" en vez de "parsear". Yo no quería decir nada, porque luego me sacáis lo de la letra "x" y...

Okis! Usaré "analizar" y derivados.

Empezado por Ñuño Martínez

El problema que veo es que la mayor parte de los documentos que hay en la WWW no están bien formateados, porque o no cumplen con el HTML que le corresponde (y a veces ni siquiera con SGML), o no usan correctamente las etiquetas (por ejemplo, usar <table /> como complemente cosmético, o usar <ul /> en vez de <dl />, etc.). Y con HTML5 (que incluye <nav />, <sumary />, <article /> y demás) no creo que lo hagan mucho mejor...

Ese es el problemón con el que me encuetro. Si quiero analizar un código HTML con tablas dentro de tablas, intento usar funciones que tiene como paramentros de entrada y salida "<table" y "</table>", y al analizar el texto, paran al encontrar la primera etiqueta de cierre.

Por eso sopeso cargar en el objeto DOM el código y luego iterar entre las distintas tablas hasta encontrar los indicadores correctos que me marquen el tesoro (o datos a buscar )

Realmente la gente maqueta con los pies, madre de dios cuantas tablas se usan para que quede "bonito"

[roman]

Empezado por Ñuño Martínez

que es más estricto y gerárquico

Primero y luego

Je, je,

// Saludos

[Ñuño Martínez]

Tengo problemas con la jerarquía, siempre los he tenido.

Y para colmo, últimamente, mi antes superficial dislexia ha aumentado exponencialmente. Tengo que releer mis textos como diecisiete veces, y aun así se me escapan errores (ni el rojo del corrector automático veo, ya).

[papulo]

Bueno bueno,

como lo haríais para analizar tablas dentro de tablas dentro de tablas (repetir n veces), la forma que tengo de analizar las webs, es primero buscar una "marca del tesoro", una cadena de texto que identifique el elemento contenedor de los datos que necesito extraer; puede ser un título o una cosa similar, exclusiva al 100%.

Adjunto un fichero de ejemplo, donde quiero sacar los datos "Equivalencias":

<td valign="top" colspan="2" class="textos">
HITACHI:<br>
S114-850, -A,-B,-C<br>
OPEL:<br>
1202033<br>
1202146<br>
1202161</td>

También adjunto las dos librerías que usan en el libro para trabajar.

De hecho, ahora usaba la función

Código PHP:

$text_html = "<div>...</div>"; //el texto html para analizar
$delimitador_inicio = "<table";
$delimitacion_final = "</table>";
$tablas = parse_array($text_html, $delimitador_inicio, $delimitacion_final); 


La teoría dice que con esta llamada, tendría todas las tablas existentes en el código dentro de un array pero veo que se hace la picha un lío la pobre.

Un ejemplo de programa en PHP:

Código PHP:

<?php

require_once 'LIB_http.php';
require_once 'LIB_parse.php';

set_time_limit(0);

$web_source = file_get_contents("http://localhost/SkyNet/html/robots/table/dummy.html");

$table_array = parse_array($web_source, "<table", "</table>");

print_r($table_array);

for ($xx = 0; $xx < count($table_array); $xx++) {
    $marca_tabla = "Equivalencias";
    if (stristr($table_array[$xx], $marca_tabla)) {
        $product_row_array = parse_array($table_array[$xx], "<tr", "</tr>");
        for ($table_row = 0; $table_row < count($product_row_array); $table_row++) {
            if (stristr($product_row_array[$table_row], $marca)) {
                $product_cell_array = parse_array($product_row_array[$table_row], "<td", "</td>");
            }
        }
    }
}
?>

Al final el array con las tablas anda manco.

[[Al González]]

Gracias por adjuntar esas bibliotecas (por un momento creí que sugerías que saliéramos a comprar algún libro). Veo que están en PHP, ¿te es válida también una solución en Delphi?

[papulo]

Pues ando buscando, en este caso concreto, desarrollar con PHP/cURL, luego, si tuviera que cambiar de lenguaje usaría Python, que está muy bien enfocado.

De todas maneras, las soluciones teóricas son aplicables a cualquier lenguaje, jejeje.

PD: El libro lo tienes por internet para descargarlo, lo recomiendo encarecidamente.

[papulo]

A parte, intento que sea lo mas multiplataforma posible. Trabajo con Ubuntu y valoro mucho ese aspecto.