fichero con caracteres en múltiples codificaciones

[bucanero]

Hola a todos

Con un fichero CSV de texto plano que descargo desde la web de un proveedor, me esta dando problemas para poder leerlo correctamente.

El problema viene porque va codificado en UTF8 pero mezcla algunos caracteres con otra codificación distinta, en particular la ñ y solo algunas veces no siempre, la codifica como UNICODE con el código 0x00F1. Y al intentar leerlo con DELPHI si no uso UTF8, no da error pero entonces no obtengo la representación de los caracteres correcta, y si utilizo UTF8 me da una excepción con el error: No mapping for the Unicode character exists in the target multi-byte code page

El código con el que estoy probando a leerlo es este:

procedure TForm2.Button1Click(Sender: TObject);
procedure LoadText(const AFileName: string; AEncoding: TEncoding);
begin
try
try
memo1.Lines.add(AEncoding.EncodingName);
memo1.Lines.Add(Format('"%s"', [TFile.ReadAllText(NameFile, AEncoding)]));
except
on E: Exception do
Memo1.Lines.Add(Format('* Error: %s', [E.Message]));
end;
finally
memo1.Lines.add('');
end;
end;

begin
LoadText(NameFile, TEncoding.ANSI);
LoadText(NameFile, TEncoding.UTF7);
LoadText(NameFile, TEncoding.UTF8);
LoadText(NameFile, TEncoding.Unicode);
end;

y los resultados que obtengo son estos:

1252 (ANSI - Latín I)
"Puño Negro: solución sustitucion podrás. GarantÃ*a 2 años; puño-acelerador-derecho-izqu.jpg"

65000 (UTF-7)
"Puño Negro: solución sustitucion podrás. GarantÃ*a 2 años; puño-acelerador-derecho-izqu.jpg"

65001 (UTF-8)
* Error: No mapping for the Unicode character exists in the target multi-byte code page

1200 (Unicode)
"뇃敎牧㩯猠汯捵썩溳猠獵楴畴楣湯†潰牤ꇃ⹳䜠牡湡썴憭㈠愠뇃獯※異濱愭散敬慲潤⵲敤敲档ⵯ穩畱樮杰"

Es cierto que el problema es el propio fichero, pues tampoco consigo leerlo correctamente ni incluso con otros programas, pues algunos ejemplos que obtengo son estos:


notepad:
Puño Negro: solución sustitucion podrás. GarantÃ*a 2 años; puño-acelerador-derecho-izqu.jpg

notepad++
Puño Negro: solución sustitucion podrás. Garantía 2 años; pu񯭡celerador-derecho-izqu.jpg

y con otros programas como OPENOFFICE es similar

El tema es ¿como puedo hacer para leer el fichero (o lo que buenamente pueda) en UTF8 y que al menos no me de la excepción?, Dejo el fichero de ejemplo con la parte que genera el error
https://www.clubdelphi.com/foros/attachment.php?attachmentid=3759&stc=1&d=1563448890

Gracias por vuestra ayuda
Un saludo

[orodriguezca]

Lo que noto es que en el archivo hay por lo menos dos enconding diferentes: La parte que llega hasta el punto y coma (;) tiene enconding UTF-8, y la parte despues del punto y coma tiene encoding ANSI.

[bucanero]

Lo que noto es que en el archivo hay por lo menos dos enconding diferentes: La parte que llega hasta el punto y coma (;) tiene enconding UTF-8, y la parte despues del punto y coma tiene encoding ANSI.

Hola orodriguezca, gracias por responder

Si, ese es el problema exactamente.

Lo curioso es que la clase TEncondig, que en realidad es la causante de todo este problema, genere la excepción al encontrar esos caracteres, cuando lo lógico seria mostrar algún otro caracter extraño tipo rombo, cuadrado, interrogación, etc. como hacen los navegadores de internet al no codificar correctamente los caracteres.

Lo que ocurre es que el fichero lo genera un servidor de terceros y no tengo la posibilidad de cambiar la forma de generarlo. Entonces lo único que me queda es intentar leerlo de la mejor forma posible y en el peor de los casos, omitir los datos que puedan generar algún tipo de error.

[Casimiro Notevi]

Si siempre son iguales y lo divide ese punto y coma, divides la cadena en dos partes y lo lees con distinta codificación cada parte :)

[bucanero]

Si siempre son iguales y lo divide ese punto y coma, divides la cadena en dos partes y lo lees con distinta codificación cada parte :)

Gracias Casimiro por responder!!

la cadena no es tan simple como el ejemplo, que esta recortado para visualizar de forma fácil donde se genera el problema. De hecho el fichero completo son varios megas de texto con varios miles de lineas y en todo el fichero solo aparece el código problemático dos o tres veces.

Indagando un poco, he visto que en los foros de embarcadero ya hablan y explican en mas detalle el origen de este problema:
https://forums.embarcadero.com/message.jspa?messageID=707902

[Casimiro Notevi]

Vaya, eso es de 2015.
Se me ocurre que también puedes hacer una sustitución de las ñ,á,é,í,ó,ú antes de importar las líneas.

[bucanero]

Vaya, eso es de 2015.
Se me ocurre que también puedes hacer una sustitución de las ñ,á,é,í,ó,ú antes de importar las líneas.

Gracias Casimiro!! es la solución que al final he implementado. No es la mas optima, puesto que si el fichero en algún momento incluye otros caracteres en UTF8 tendré entonces que modificar nuevamente el código. Pero de momento me sirve como solución.

Aquí dejo el código que he implementado:



function UTF8ToAnsii(const value: string): string;
/// convierte los caracteres codificados en UTF8 a ANSI
const
SpecialChars: array[0..5] of string = ('ñ', 'á', 'é', 'í', 'ó', 'ú');
var
i: LongInt;
begin
result := value;
for i := 0 to High(SpecialChars) do
result := StringReplace(result,
// caracter especial en codificacion UTF8
SpecialChars[i],
// el mismo caracter en codificacion ANSII
TEncoding.ANSI.GetString(TEncoding.UTF8.GetBytes(SpecialChars[i])), [rfReplaceAll]);
end;

function RepairFileUTF8(const AFileName: string): boolean;
/// Lee un fichero en formato ANSI y lo escribe en formato UTF8
var
content: string;
begin
try
result := false;
// lee el contenido del fichero en formato ANSII
content := Tfile.ReadAllText(AFileName);
//Sustituye los caracteres especiales codificados en UTF8 a codificacion ANSII
// y convierte todo el contenido del fichero a UTF8
content := UTF8Decode(UTF8ToAnsii(content));
// guarda de nuevo el fichero ya con formato UTF8
Tfile.WriteAllText(AFileName, content, TEncoding.UTF8);
result := true;
except
on E: Exception do
MessageDlg(E.message, mtError, [mbOK], 0);
end;
end;

function IsValidUTF8Format(const AFileName: string): Boolean;
var
intento: integer;
begin
result := false;
intento := 2;
repeat
try
dec(intento);
// se intenta leer el contenido del fichero en formato UTF8
Tfile.ReadAllText(AFileName, TEncoding.UTF8);
result := true;
except
on E: Exception do begin
if (e.Message = SNoMappingForUnicodeCharacter) then begin
if (intento > 0) then
//si da error se intenta reparar. (solo lo hace la primera vez)
RepairFileUTF8(AFileName)
else
// si diera error por segunda vez segunda vez, es porque el fichero
// contiene mas caracteres especiales no incluidos en la lista de sustitucion
MessageDlg('Revise caracteres especiales UTF8 en el fichero', mtError, [mbOK], 0);
end;
end;
end;
until result or (intento <= 0);
end;


y la forma de utilizarlo es:

if not IsValidUTF8Format(NameFile) then
MessageDlg('El fichero no tiene un formato valido ', mtError, [mbOK], 0)
else
OpenFile(NameFile);



Gracias por vuestro tiempo y las soluciones aportadas.
Un saludo