如何在不使用BOM且以非ASCII字符开头的情况下针对文件识别不同的编码?

问题描述

| 尝试识别不带BOM的文件的编码时出现问题,尤其是当文件以非ASCII字符开头时。 我发现了以下两个有关如何识别文件编码的主题, 在不使用BOM的情况下如何识别不同的编码? Java:阅读器和编码 目前,我创建了一个类来标识文件的不同编码(例如UTF-8,UTF-16,UTF-32,UTF-16 no BOM等),如下所示,
public class UnicodeReader extends Reader {
private static final int BOM_SIZE = 4;
private final InputStreamReader reader;

/**
 * Construct UnicodeReader
 * @param in Input stream.
 * @param defaultEncoding Default encoding to be used if BOM is not found,* or <code>null</code> to use system default encoding.
 * @throws IOException If an I/O error occurs.
 */
public UnicodeReader(InputStream in,String defaultEncoding) throws IOException {
    byte bom[] = new byte[BOM_SIZE];
    String encoding;
    int unread;
    pushbackinputstream pushbackStream = new pushbackinputstream(in,BOM_SIZE);
    int n = pushbackStream.read(bom,bom.length);

    // Read ahead four bytes and check for BOM marks.
    if ((bom[0] == (byte) 0xEF) && (bom[1] == (byte) 0xBB) && (bom[2] == (byte) 0xBF)) {
        encoding = \"UTF-8\";
        unread = n - 3;
    } else if ((bom[0] == (byte) 0xFE) && (bom[1] == (byte) 0xFF)) {
        encoding = \"UTF-16BE\";
        unread = n - 2;
    } else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE)) {
        encoding = \"UTF-16LE\";
        unread = n - 2;
    } else if ((bom[0] == (byte) 0x00) && (bom[1] == (byte) 0x00) && (bom[2] == (byte) 0xFE) && (bom[3] == (byte) 0xFF)) {
        encoding = \"UTF-32BE\";
        unread = n - 4;
    } else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE) && (bom[2] == (byte) 0x00) && (bom[3] == (byte) 0x00)) {
        encoding = \"UTF-32LE\";
        unread = n - 4;
    } else {
        // No BOM detected but still Could be UTF-16
        int found = 0;
        for (int i = 0; i < 4; i++) {
            if (bom[i] == (byte) 0x00)
                found++;
        }

        if(found >= 2) {
            if(bom[0] == (byte) 0x00){
                encoding = \"UTF-16BE\";
            }
            else {
                encoding = \"UTF-16LE\";
            }
            unread = n;
        }
        else {
            encoding = defaultEncoding;
            unread = n;
        }
    }

    // Unread bytes if necessary and skip BOM marks.
    if (unread > 0) {
        pushbackStream.unread(bom,(n - unread),unread);
    } else if (unread < -1) {
        pushbackStream.unread(bom,0);
    }

    // Use given encoding.
    if (encoding == null) {
        reader = new InputStreamReader(pushbackStream);
    } else {
        reader = new InputStreamReader(pushbackStream,encoding);
    }
}

public String getEncoding() {
    return reader.getEncoding();
}

public int read(char[] cbuf,int off,int len) throws IOException {
    return reader.read(cbuf,off,len);
}

public void close() throws IOException {
    reader.close();
}
} 上面的代码可以在所有情况下正常工作,除非文件没有BOM且以非ASCII字符开头。由于在这种情况下,用于检查文件是否仍为没有BOM的UTF-16的逻辑将无法正常工作,并且认会将编码设置为UTF-8。 是否有一种方法可以检查没有BOM的文件的编码并以非ASCII字符开头,尤其是对于UTF-16 NO BOM文件? 谢谢,任何想法将不胜感激。     

解决方法

一般来说,无法确定是否未提供编码。 您可以通过文本中的特定模式(高位设置,设置,设置,未设置,设置,设置,设置,未设置)来猜测UTF-8,但这仍然是一个猜测。 UTF-16很困难;您可以在同一流上成功解析BE和LE;两种方式都会产生一些字符(尽管可能无意义的文本)。 那里的某些代码使用统计分析来根据符号的频率猜测编码,但这需要对文本(即“这是蒙古文”)和频率表(可能与文本不匹配)进行一些假设。归根结底,这只是一个猜测,在100%的情况下无济于事。     ,最好的方法是不要自己尝试实现。而是使用现有的库来执行此操作;请参见Java:如何确定流的正确字符集编码。例如: http://code.google.com/p/juniversalchardet/ http://jchardet.sourceforge.net/ http://site.icu-project.org/ http://glaforge.free.fr/wiki/index.php?wiki=GuessEncoding http://docs.codehaus.org/display/GUESSENC/主页 应当注意,最好的办法是猜测文件的最可能编码。在一般情况下,不可能100%确定正确的编码。即创建文件时使用的编码。   我想说这些第三方库也无法识别我遇到的文件的编码,可以对其进行改进以满足我的要求。 另外,您可能会意识到您的要求非常难以满足...并对其进行了更改;例如 将自己限制为一组特定的编码, 坚持要求提供/上传文件的人正确说明其编码(或主要语言)是什么,和/或 接受您的系统在一定百分比的时间内会出错,并提供一种手段,使某人可以纠正错误陈述/猜测的编码。 面对现实:这是一个理论上无法解决的问题。     ,如果确定它是有效的Unicode流,则如果没有BOM,则必须为UTF-8(因为既不需要也不建议使用BOM),如果确实有BOM,那么您就知道它是什么。 如果只是某种随机编码,则无法确定。那么,您可以期望的最好的结果就是有时只会出错,因为不可能在所有情况下都正确地猜测。 如果您可以将可能性限制为很小的子集,则可以提高猜测正确的几率。 唯一可靠的方法是要求提供者告诉您他们提供了什么。如果您想要完全的可靠性,那是您唯一的选择。如果您不需要可靠性,那么您会猜测-但有时会猜错。 我觉得您必须是Windows的人,因为我们大多数人很少首先要考虑BOM。我知道我经常处理数十亿字节的文本(在Mac,Linux,Solaris和BSD系统上),其中超过99%的文本是UTF-8,只有两次我遇到过包含BOM的文本。我听说Windows人们一直都坚持使用它。如果为true,则可能会或可能不会使您的选择更加容易。