问题描述
|
尝试识别不带BOM的文件的编码时出现问题，尤其是当文件以非ASCII字符开头时。
我发现了以下两个有关如何识别文件编码的主题，
在不使用BOM的情况下如何识别不同的编码？
Java：阅读器和编码
目前，我创建了一个类来标识文件的不同编码（例如UTF-8，UTF-16，UTF-32，UTF-16 no BOM等），如下所示，
public class UnicodeReader extends Reader {
private static final int BOM_SIZE = 4;
private final InputStreamReader reader;
/**
* Construct UnicodeReader
* @param in Input stream.
* @param defaultEncoding Default encoding to be used if BOM is not found,* or <code>null</code> to use system default encoding.
* @throws IOException If an I/O error occurs.
*/
public UnicodeReader(InputStream in,String defaultEncoding) throws IOException {
byte bom[] = new byte[BOM_SIZE];
String encoding;
int unread;
pushbackinputstream pushbackStream = new pushbackinputstream(in,BOM_SIZE);
int n = pushbackStream.read(bom,bom.length);
// Read ahead four bytes and check for BOM marks.
if ((bom[0] == (byte) 0xEF) && (bom[1] == (byte) 0xBB) && (bom[2] == (byte) 0xBF)) {
encoding = \"UTF-8\";
unread = n - 3;
} else if ((bom[0] == (byte) 0xFE) && (bom[1] == (byte) 0xFF)) {
encoding = \"UTF-16BE\";
unread = n - 2;
} else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE)) {
encoding = \"UTF-16LE\";
unread = n - 2;
} else if ((bom[0] == (byte) 0x00) && (bom[1] == (byte) 0x00) && (bom[2] == (byte) 0xFE) && (bom[3] == (byte) 0xFF)) {
encoding = \"UTF-32BE\";
unread = n - 4;
} else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE) && (bom[2] == (byte) 0x00) && (bom[3] == (byte) 0x00)) {
encoding = \"UTF-32LE\";
unread = n - 4;
} else {
// No BOM detected but still Could be UTF-16
int found = 0;
for (int i = 0; i < 4; i++) {
if (bom[i] == (byte) 0x00)
found++;
}
if(found >= 2) {
if(bom[0] == (byte) 0x00){
encoding = \"UTF-16BE\";
}
else {
encoding = \"UTF-16LE\";
}
unread = n;
}
else {
encoding = defaultEncoding;
unread = n;
}
}
// Unread bytes if necessary and skip BOM marks.
if (unread > 0) {
pushbackStream.unread(bom,(n - unread),unread);
} else if (unread < -1) {
pushbackStream.unread(bom,0);
}
// Use given encoding.
if (encoding == null) {
reader = new InputStreamReader(pushbackStream);
} else {
reader = new InputStreamReader(pushbackStream,encoding);
}
}
public String getEncoding() {
return reader.getEncoding();
}
public int read(char[] cbuf,int off,int len) throws IOException {
return reader.read(cbuf,off,len);
}
public void close() throws IOException {
reader.close();
}
解决方法
一般来说，无法确定是否未提供编码。
您可以通过文本中的特定模式（高位设置，设置，设置，未设置，设置，设置，设置，未设置）来猜测UTF-8，但这仍然是一个猜测。
UTF-16很困难；您可以在同一流上成功解析BE和LE；两种方式都会产生一些字符（尽管可能无意义的文本）。
那里的某些代码使用统计分析来根据符号的频率猜测编码，但这需要对文本（即“这是蒙古文”）和频率表（可能与文本不匹配）进行一些假设。归根结底，这只是一个猜测，在100％的情况下无济于事。
,最好的方法是不要自己尝试实现。而是使用现有的库来执行此操作；请参见Java：如何确定流的正确字符集编码。例如：
http://code.google.com/p/juniversalchardet/
http://jchardet.sourceforge.net/
http://site.icu-project.org/
http://glaforge.free.fr/wiki/index.php?wiki=GuessEncoding
http://docs.codehaus.org/display/GUESSENC/主页
应当注意，最好的办法是猜测文件的最可能编码。在一般情况下，不可能100％确定正确的编码。即创建文件时使用的编码。
我想说这些第三方库也无法识别我遇到的文件的编码，可以对其进行改进以满足我的要求。
另外，您可能会意识到您的要求非常难以满足...并对其进行了更改；例如
将自己限制为一组特定的编码，
坚持要求提供/上传文件的人正确说明其编码（或主要语言）是什么，和/或
接受您的系统在一定百分比的时间内会出错，并提供一种手段，使某人可以纠正错误陈述/猜测的编码。
面对现实：这是一个理论上无法解决的问题。
,如果确定它是有效的Unicode流，则如果没有BOM，则必须为UTF-8（因为既不需要也不建议使用BOM），如果确实有BOM，那么您就知道它是什么。
如果只是某种随机编码，则无法确定。那么，您可以期望的最好的结果就是有时只会出错，因为不可能在所有情况下都正确地猜测。
如果您可以将可能性限制为很小的子集，则可以提高猜测正确的几率。
唯一可靠的方法是要求提供者告诉您他们提供了什么。如果您想要完全的可靠性，那是您唯一的选择。如果您不需要可靠性，那么您会猜测-但有时会猜错。
我觉得您必须是Windows的人，因为我们大多数人很少首先要考虑BOM。我知道我经常处理数十亿字节的文本（在Mac，Linux，Solaris和BSD系统上），其中超过99％的文本是UTF-8，只有两次我遇到过包含BOM的文本。我听说Windows人们一直都坚持使用它。如果为true，则可能会或可能不会使您的选择更加容易。