Descargar parte de una web

[*Emilio*]

Hola,

Necesito realizar la descarga de cierto texto de una web.

Pongo un ejemplo:

Tengo las url de todas las páginas que quiero descargar...

http://www.fabricante-pepe.com/artic...eferencia=1000
http://www.fabricante-pepe.com/artic...eferencia=1001
http://www.fabricante-pepe.com/artic...eferencia=1002

Si cargamos una de esas supuestas urls, obtenemos una página web con mucho html, mucho texto, muchas imágenes etc...

El texto que me interesa se encuentra ubicado entre dos etiquetas HTML concretas

<textarea name="algo">Este es el texto que quiero capturar</textarea>

¿alguna sugerencia de cómo puedo capturar ese texto?

Gracias de antemano.

[[Bicho]]

Saludos Capo!!

He estado buscando por los foros, y al principio habia visto sugerencias sobre descargar la página en local con un componente Indy HTTP, volcando ese texto a un fichero (que al igual con un WebBrowser lo puedes hacer, no estoy muy puesto en el tema) y buscando el texto escogido dentro del fichero o memo donde tengas el codigo fuente de la página.

Pero luego he encontrado la palabra clave que creo que es la que necesitabas:

PARSER,

Dec, aquí da las pautas para encontrarlo

Espero sea esto lo que buscas, yo sinceramente te lo digo, estoy out en este tema y me he limitado a buscar por los foros e investigar un poco por Delphi.

Saludos

[[Bicho]]

Sabia yo que con un WebBrowser se podia hacer algo:

Colocas un webbrowser y un memo. En el evento ondocumentcomplete añades esto:

Código Delphi [-]
  MEMO1.Text := WebBrowser1.OleObject.Document.body.innerHTML;

Y ya tienes el codigo fuente de la web en un memo, sólo hay que buscar las etiquetas con un "pos" y ya lo tienes.

Saludos

[[seoane]]

Seguro que usando un TWebbrowser se pueden ir recorriendo cada una de las etiquetas (aunque yo no se como ), o quizá utilizando algún parser. Pero una forma sencilla de hacerlo es obtener la pagina, colocarla en un string, buscar la etiqueta textarea y copiar lo que se encuentra entre la etiqueta de apertura y de cierre. Algo así:

Código Delphi [-]
program gettext;

{$APPTYPE CONSOLE}

uses
  Windows, SysUtils, WinInet;


function Bajar(Url: string): String;
var
  hNet: HINTERNET;
  hUrl: HINTERNET;
  Buffer: array[0..10240] of Char;
  BytesRead: Cardinal;
begin
  Result := '';
  hNet := InternetOpen('agent', INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0);
  if (hNet <> nil) then
  begin
    hUrl := InternetOpenUrl(hNet, PChar(Url), nil, 0,
      INTERNET_FLAG_RELOAD, 0);
    if (hUrl <> nil) then
    begin
      FillChar(Buffer,Sizeof(Buffer),0);
      while (InternetReadFile(hUrl, @Buffer, sizeof(Buffer), BytesRead)) do
      begin
        if (BytesRead = 0) then
          break;
        Result:= Result + String(PChar(@Buffer));
        FillChar(Buffer,Sizeof(Buffer),0);
      end;
      InternetCloseHandle(hUrl);
    end;
    InternetCloseHandle(hNet);
  end;
end;

function ObtenerTexto(Url: string; Etiqueta: string): string;
var
  Str: string;
  i: integer;
begin
  Result:= '';
  // Bajamos la pagina
  Str:= Bajar(Url);
  // Buscamos la etiqueta
  i:= Pos(Uppercase(Etiqueta), Uppercase(Str));
  if i > 0 then
  begin
    // Buscamos el final de la etiqueta
   while (Copy(Str,i,1)<>'>') and (i<Length(Str)) do
      inc(i);
   inc(i);
   // Copiamos el texto hasta encontrar otra etiqueta
   while (Copy(Str,i,1)<>'<') and (i<Length(Str)) do
   begin
      Result:= Result + Copy(Str,i,1);
      inc(i);
   end;
  end;
end;

begin
  Writeln(ObtenerTexto('http://www.mipagina.com/index.html','<textarea'));
  readln;
end.

[[seoane]]

Continuando mi respuesta anterior, podemos bajar de una sola vez todos los artículos, y guardar el contenido de los textarea en archivos de texto:

Código Delphi [-]
procedure BajarTodo(Url: string; Inicio, Final: Integer);
var
  i: integer;
begin
  with TStringList.Create do
  try
    for i:= Inicio to Final do
    begin
      Text:= ObtenerTexto(Url + IntToStr(i),'<textarea');
      SaveToFile(ChangeFileExt(ParamStr(0), '_' + IntToStr(i) + '.txt'));
    end;
  finally
    Free;
  end;
end;

begin
  BajarTodo('http://www.fabricante-pepe.com/articulo.php?referencia=',1000,1010);
end.

[*Emilio*]

Bicho gracias por la respuesta, no es ese el camino pero se agradece, por cierto, aparcar está tirao

Seoane funciona perfectamente, muchas gracias por tu rápida y eficaz respuesta.

[[Bicho]]

La intención es lo que cuenta no??

Por cierto como va la tienda? cuanto le queda para abrir?? Ya se ha escogido nombre? (Aunque supongo que no se dirá hasta la inauguración no?)

Saludos

[D-MO]

Empezado por Bicho

Por cierto como va la tienda? cuanto le queda para abrir?? Ya se ha escogido nombre?

Pues eso mismo he estado pensando días atras ya que no se ha sabido nada al respecto.

Saludos.

[[seoane]]

Encantado de ser útil, aquí estoy para lo que necesites Emilio

[*Emilio*]

Empezado por Bicho

La intención es lo que cuenta no??

Por supuesto

Empezado por Bicho

Por cierto como va la tienda? cuanto le queda para abrir?? Ya se ha escogido nombre? (Aunque supongo que no se dirá hasta la inauguración no?)

Bueno ya sabes lo que se dice, las cosas de palacio van despacio y encima en época estival como que todavía peor, en principio está previsto abrir entre el 15 de septiembre y 1 de octubre.

Empezado por Bicho

Encantado de ser útil, aquí estoy para lo que necesites Emilio

Pues precisamente para el tema de la tienda virtual necesitaba ese coódigo.

Como solicité en su momento ideas para el nombre de la tienda, creo que debo decir cual se ha puesto en el hilo que inicié en la taberna, así que me voy pa la taberna a desvelar el nombrecito y a tomarme una birrita

[dec]

Hola,

Sin demérito del resto de aportaciones de los compañeros, me gustaría añadir una que he preparado. Creo que en este caso que nos ocupa no nos vendría mal utilizar las conocidas Expresiones regulares, y, para Delphi, existe un componente de nombre TPerlRegExp que nos viene al pelo. Es un componente que utilizan proyectos como SynEdit, de código abierto, gratuito y que va muy bien.

Una vez contemos con el componente TPerlRegExp, que no tendremos ni que instalar para lo que nos ocupa, pienso en utilizar el componente TIdHttp para la descarga del código HTML de las páginas Web que nos interesan. Creo que ya todos sabéis de qué componente estoy hablando, así que paso adelante.

He subido una página Web que he subido a mi espacio en el ClubDelphi para que nos sirva a modo de pruebas. La URL de esta página es esta:

http://dec.clubdelphi.com/temporales...as-regexp.html

No contiene sino el código HTML de una página de estos mismos Foros, a la que he "infiltrado" el "textarea" que habremos de localizar...

A modo de prueba he creado un procedimiento que se encarga de descargar el código HTML de la página susomentada y de localizar los resultados obtenidos de la búsqueda en el código HTML de la expresión regular de marras. Este es el procedimiento que digo:

Código Delphi [-]
uses
  IdHttp, PerlRegEx;

procedure Busqueda(url, expRegular: string;
  var resultados: TStrings);
var
  i: integer;
  http: TIdHTTP;
  regex: TPerlRegEx;
  sRespuesta: TStringStream;
begin
  http := TIdHTTP.Create(nil);
  regex := TPerlRegEx.Create(nil);
  sRespuesta := TStringStream.Create('');
  try
    http.Get(url, sRespuesta);
    regex.RegEx := expRegular;
    regex.Subject := sRespuesta.DataString;
    regex.Options := [preCaseLess, preMultiLine,
                       preSingleLine, preUnGreedy];

    resultados.Clear;
    if regex.Match then
    begin
      // Resultados de la primera coincidencia
      for i := 1 to regex.SubExpressionCount do
        resultados.Add(regex.SubExpressions[i]);
      // Resultados de sucesivas coincidencia
      while regex.MatchAgain do begin
        for i := 1 to regex.SubExpressionCount do
          resultados.Add(regex.SubExpressions[i]);
      end;
    end;

  finally
    http.Free;
    regex.Free;
    sRespuesta.Free;
  end;
end;

Utilizando la magia del componente TPerlRegEx y mis pocos conocimientos de la sintaxis de las Expresiones Regulares, podemos conseguir resultados muy curiosos con el procedimiento anterior. Por ejemplo, vamos a localizar si más el contenido del "textarea" que infiltramos en el código HTML de la página de ejemplo:

procedure TForm1.btnBuscarClick(Sender: TObject);
const
  expRegular = '<textarea name="algo">(.*)</textarea>';
  sURL= 'http://dec.clubdelphi.com/temporales/pruebas-regexp.html';
var
  resultados: TStrings;
begin
  resultados := TStringList.Create;
  Busqueda(sURL, expRegular, resultados);
  ShowMessage(resultados.Text);
  resultados.Free;
end;

Luego de llamar al procedimiento "Busqueda" dentro de este método de ejemplo que he puesto arriba, en la variable "resultados" tendremos todos correspondientes a la búsqueda llevada a cabo. ¿Cómo? ¿Resultados, en plural? Así es, porque si hubiera más de una "textarea" con las características que buscamos obtendríamos el contenido de todos estos "textarea", como digo, dentro de la variable "resultados".

Ahora entramos un poco en la magia que digo tiene el componente TPerlRegEx y las propias Expresiones Regulares, claro está. En el ejemplo anterior buscábamos un "textarea" cuyo atributo "name" fuera "algo". Con esto ya debería ir bien, es decir, podría servirnos para lo que nos ocupa. Empero, un sencillo cambio en la expresión regular que hemos utilizado antes y podríamos obtener otros resultados, por ejemplo:

procedure TForm1.btnBuscarClick(Sender: TObject);
const
  expRegular = '<textarea name="(.*)">(.*)</textarea>';
  // ó expRegular = '<textarea name="algo">(.*)</textarea>';
  sURL= 'http://dec.clubdelphi.com/temporales/pruebas-regexp.html';
var
  resultados: TStrings;
begin
  resultados := TStringList.Create;
  Busqueda(sURL, expRegular, resultados);
  ShowMessage(resultados.Text);
  resultados.Free;
end;

Con el anterior ejemplo obtendríamos el contenido de todos los "textarea" del código HTML en que buscamos. En la variable "resultados", suponiendo que en el código HTML hubiera dos "textarea", tendríamos cuatro elementos: el primero, el valor del atributo "name" del primer "textarea", el segundo, el contenido del primer "textarea"; el tercer elemento de "resultados" sería el valor del atributo "nombre" del segundo "textarea", y, por último, en el cuarto elemento de "resultados" el contenido de este segundo "textarea".

Vale. Reconozco que me he entusiasmado con la posibilidad de lograr múltiples resultados, etc., pero, ya digo que para lo que nos ocupa no es necesario. Tan sólo trataba de transmitir cierto intererés en todo esto que hablamos: Expresiones Regulares, el componente "TPerlRegEx", etc. Para lo nuestro incluso podríamos dejar el procedimiento presentado al principio de este modo:

Código Delphi [-]
uses
  IdHttp, PerlRegEx;

procedure Busqueda(url, expRegular: string;
  var resultados: TStrings);
var
  i: integer;
  http: TIdHTTP;
  regex: TPerlRegEx;
  sRespuesta: TStringStream;
begin
  http := TIdHTTP.Create(nil);
  regex := TPerlRegEx.Create(nil);
  sRespuesta := TStringStream.Create('');
  try
    http.Get(url, sRespuesta);
    regex.RegEx := expRegular;
    regex.Subject := sRespuesta.DataString;
    regex.Options := [preCaseLess, preMultiLine,
                       preSingleLine, preUnGreedy];

    resultados.Clear;
    if regex.Match then
    begin
      // Resultados de la primera coincidencia
      for i := 1 to regex.SubExpressionCount do
        resultados.Add(regex.SubExpressions[i]);
    end;

  finally
    http.Free;
    regex.Free;
    sRespuesta.Free;
  end;
end;

Y así sólo se buscaría la primera coincidencia de lo que buscamos en el código HTML en que lo hacemos. Pero, a riesgo de ser pesado, quiero hacer notar que, aún así, podríamos seguir utilizando el poder que nos ofrecen las Expresiones Regulares...

Pero, me parece que ya está bien, porque además me he limitado ha hacer algunas pruebas, y se me escapan muchas cosas de las Expresiones Regulares, y ni el componente "TPerlRegEx" conozco medianamente bien. ¡Vosotros hacedme el caso justo y aquí paz y después gloria!

Notas:

- Si no conocéis el componente TPerlRegExp no tardéis en hacerlo.

- Todo lo dicho podrá mejorarse no poco, pero, supongo que una de las cosas que habría que mirar con más atención sería la posibilidad de no tener que descargar todo el código HTML de la página que nos interese, sino sólo lo necesario,... esto lo dejo caer por aquí pero, ya se ve que aporto nada más que esto, que tiene narices.

[roman]

Bueno, ¿y es forzoso que sea en Delphi? Digo, porque en php es un "poquito" más fácil:

Código PHP:

$rgxp = '#\<textarea name="algo"\>(.*)\</textarea\>#siU';
$contenido = file_get_contents($la_url);

if (preg_match($rgxp, $contenido, $matches))
{
  echo htmlspecialchars($matches[1]);
} 


// Saludos

[[seoane]]

Empezado por roman

Bueno, ¿y es forzoso que sea en Delphi? Digo, porque en php es un "poquito" más fácil:

Después de leer haber leído este hilo, lo primero que se me vino a la cabeza es que lo que pedía Emilio era algo muy similar, pero como no tengo idea de php tuve que arreglarme con el pobre delphi Aunque tengo que reconocer que esto de las expresiones regulares es algo fascinante

[mamcx]

Y no hay razones para no usarlas en Delphi!

http://regexpstudio.com/TRegExpr/TRegExpr.html

Otro camino es usar un parser de html, ya sabemos que el html puede ser invalido asi que necesitarias buscar un tag parser...

[roman]

Empezado por Emilio

Bicho gracias por la respuesta, no es ese el camino pero se agradece,

Y ¿puede saberse por qué no es ése el camino? Al menos conduce a donde quieres :

Código Delphi [-]
uses mshtml;

...

var
  Document: IHTMLDocument2;
  HTMLElement: IDispatch;
  TextArea: IHTMLTextAreaElement;

begin
  Document := WebBrowser.Document as IHTMLDocument2;
  HTMLElement := Document.all.item('algo', 0);

  if Assigned(HTMLElement) then
  begin
    if Supports(HTMLElement, IHTMLTextAreaElement, TextArea)then
      ShowMessage(TextArea.value);
  end;
end;

// Saludos

[dec]

Hola,

Empezado por Román

Y ¿puede saberse por qué no es ése el camino? Al menos conduce a donde quieres :

Te digo yo que hay muchos caminos para llegar a Roma...

Empezado por Mario

Y no hay razones para no usarlas en Delphi!

http://regexpstudio.com/TRegExpr/TRegExpr.html

Excelente la pinta que tiene ese componente. Gracias por la información.

[*Emilio*]

Empezado por roman

Y ¿puede saberse por qué no es ése el camino? Al menos conduce a donde quieres :

Razón tienes roman, creo que dije eso por error, al entrar al hilo vi a la vez la respuesta de seoane que me sonaba al código que andaba buscando y ya había visto alguna vez algo parecido por tanto me fijé en esa respuesta como solución, la de Bicho hablaba sobre TWebBrowser y lo descarte sin tan siquiera fijarme detenidamente, lo cual está muy mal por mi parte, lo reconozco.

Bicho: rectifico, lamento no haberme fijado mejor.

Muy pocas veces hago uso del foro para emitir preguntas y realmente estoy sorprendido de la cantidad de respuestas válidas que he obtenido, seguramente alguna vez habéis preguntado estando en una ciudad desconocida por una calle y el nativo no sólo se ha limitado en indicarte el trayecto sino que además se ha tomado la molestia de acompañarte para que no te pierdas, pues algo así creo estar sintiendo, INCREIBLE, gracias a todos

Bueno pues debo decir que he puesto en práctica dos de las opciones que se ofrecen en el hilo, la de seoane y la de roman en PHP, ambas funcionan de coña y el resultado es este http://www.brico-pc.com/tienda/artic...f=VBCIMPACTOEM

La web no está terminada, en breve...

[[Bicho]]

Gracias chicos por defenderme!!

Como ya dije no estoy muy puesto en tema, pero despues de haber leido las respuestas creo que una idea si estaba dando por lo menos relacionada..

Emilio me has hecho dañoo

Es coña, no pasa nada

Un saludo a todos y vamos a ver que hay en la tienda virtual.

Por cierto no tendrás o podrías conseguir este procesador: AMD socket AM2 de 64bits 3800+ dual-core, que es lo que me esta jorobando el verano...

[*Emilio*]

Empezado por Bicho

Emilio me has hecho dañoo

Pues te pones una tirita

Empezado por Bicho

Por cierto no tendrás o podrías conseguir este procesador: AMD socket AM2 de 64bits 3800+ dual-core, que es lo que me esta jorobando el verano...

Creo que esto es lo que estás buscando.

http://www.brico-pc.com/tienda/artic...AMD3800/AM2BOX

Aquí tienes unos cuantos similares.

[[Bicho]]

Empezado por Emilio

Creo que esto es lo que estás buscando.

http://www.brico-pc.com/tienda/artic...AMD3800/AM2BOX

Ya lo habia visto, pero no pone que sea dual-core no? Lo es?, Esta disponible?

Los otros son un socket anterior al AM2 i me interesa ahora mismo el nuevo.

Gracias de todos modos.

Saludos

Edito: he visto que en la foto, si pone que sea dual-core, así que si la foto no engaña es el que busco