Completar datos de un formulario web de forma no visual
 

Hola amigos, mucho tiempo sin escribir en el foro, lamentablemente los proyectos personales y la flia no me dejan mucho tiempo libre. Hasta poca programación :(

Pero aca estoy de vuelta para consultarles una cosa :D

Estoy intentando obtener información de una pagina web, pero para esto debo completar un formulario y tomar los datos de la pagina resultante.

Para dar una idea, en la pagina de Google, intento completar el cuadro de busqueda, apretar el boton buscar, y obtener la pagina resultante.

Estuve viendo algunos post de la pagina, y logre hacerlo con el componente WebBrowser, funciona muy bien.

Pero como en realidad no me interesa que valla mostrando nada de lo que el programa procesa, queria buscar otro componente, clase o metodo no visual para lograr el mismo resultado.

Probé con el componente TIdHTTP puedo capturar las paginas pero no se como se puede hacer para pasarle los datos, y apretar el boton, o simularlo de alguna forma.

Alguna idea?

Primero necesitas saber un par de cosas sobre el formulario. Revisa el código fuente de la pagina que lo contiene y busca algo como esto:

El action tenemos la dirección a la que se debe enviar los datos, y en method la forma de enviarlos. Si el method es POST la información se mandara como "cuerpo" de la petición http y si es GET la información se enviara añadiéndola a la url. Por ejemplo, en la pagina de google (www.google.es) encontramos:

Esto nos indica que tenemos que enviar la información a la dirección "www.google.es/search" y que el método es GET (como no se indica nada se usa GET por defecto). El método GET es sencillo se basa en mandar la información añadiéndola a la URL después de el símbolo ? por ejemplo, en la misma pagina si buscamos la palabra hola, la dirección de la pagina resultante es:

Si te fijas cada campo del formulario se envía como el par "nombre=valor" y los distintos campos se unen con el símbolo &. Los símbolos % aparecen porque la dirección a sido codificada para que no contuviera caracteres especiales (puedes encontrar la función urlencode en la sección de trucos). Pues bien si quisiéramos simular una búsqueda solo tendríamos que solicitar la pagina modificando convenientemente la dirección con los valores que queremos buscar. Para descargar la pagina puedes usar Indy, wininet, urlmon, etc...

En el caso de que el método fuese POST se haría de forma similar solo que lo que aquí enviamos a la derecha del ? en la URL ahora lo tenemos que enviar como "cuerpo" de la petición http. Esto lo podemos hacer con Indy y wininet, entre otros.

Entonces lo que sacamos en limpio es que primero tienes que saber el método GET o POST, luego necesitas saber la dirección a la que se enviara la información (action) y por ultimo el nombre y tipo de cada uno de los campos. Una vez que sepas eso ya podemos meternos mas a fondo en el asunto.

Exelente, esta es la información que estaba necesitando :) . Muchas gracias, ahora mismo me pongo a probarlo y comento el resultado (si el enano que tengo aca a lado me deja :D)

Mi formulario es POST, como es enviarlo como cuerpo?

Una manera sencilla de hacerlo es como explica el compañero dec en el truco 346, utilizando los componentes Indy. Si no quieres complicarte mucho es la que te recomiendo.

Si quieres hacerlo mas difícil puedes usar Wininet, seria algo así:

Código Delphi [-]
uses Wininet;

function URLEncode(Str: string): string;
var
  i: integer;
begin
  Result:= '';
  for i:= 1 to Length(Str) do
    if Str[i] in ['A'..'Z','a'..'z','0'..'9','-','_','.'] then
      Result:= Result + Str[ i ]
    else
      Result:= Result + '%' + IntToHex(Ord(Str[ i ]),2);
end;

function HacerPost(Servidor, Cgi: string; Puerto: Word; Campos: TStringList): Boolean;
var
  hNet: HINTERNET;
  hCon: HINTERNET;
  hReq: HINTERNET;
  Context: DWORD;
  Mem: TMemoryStream;
  Str: string;
  i: integer;
  Buffer: array[0..10240] of Char;
  BytesRead: DWORD;
begin
  Context:= 0;
  Result := FALSE;
  Str:= '';
  hNet := InternetOpen('Agente', INTERNET_OPEN_TYPE_PRECONFIG, nil, nil, 0);
  if (hNet <> nil) then
  begin
    hCon:= InternetConnect(hNet,PChar(Servidor),Puerto,nil,nil,INTERNET_SERVICE_HTTP,0,Context);
    if (hCon <> nil) then
    begin
      hReq:= HttpOpenRequest(hCon,'POST',PChar(Cgi),nil,nil,nil,
        INTERNET_FLAG_RELOAD,Context);
      if (hReq <> nil) then
      begin
        for i:= 0 to Campos.Count - 1 do
        begin
          Str:= Str + '&' + urlencode(Campos.Names[i]) + '=' +
            urlencode(Campos.ValueFromIndex[i]);
        end;
        Delete(Str,1,1);
        Mem:= TMemoryStream.Create;
        try
          try
            if HttpSendRequest(hReq,nil,0,PChar(Str),Length(Str)) then
            begin
              while (InternetReadFile(hReq, @Buffer, sizeof(Buffer), BytesRead)) do
              begin
                if (BytesRead = 0) then
               begin
                  Result := TRUE;
                  break;
                end; 
                Mem.Write(Buffer,BytesRead);
              end;
              // La información resultante la tienes en el Stream, puedes guardarla
              // o utilizarla para lo que la necesites.
              Mem.SaveToFile('c:\1.html');
            end;
          except end;
        finally
          Mem.Free;
        end;
        InternetCloseHandle(hReq);
      end;
      InternetCloseHandle(hCon);
    end;
    InternetCloseHandle(hNet);
  end;
end;


var
  Campos: TStringList;
begin
  Campos:= TStringList.Create;
  try
    Campos.Values['Nombre1']:= 'Valor1';
    Campos.Values['Nombre2']:= '@#~¬='; // Un valor con caracteres especiales
    Campos.Values['Nombre3']:= 'Valor3';
    HacerPost('www.servidor.com','/cgi-bin/test.cgi',80,Campos);
  finally
    Campos.Free;
  end;
end;