文件编码不稳定

编程问答 2022-05-16

问题描述

我有一个旨在检测大文件编码的程序。 我试图通过从文件中采样一些数据（不想读取所有数据，因为它的大小）并检测样本编码来做到这一点，但我意识到它不是很稳定..

例如，我在 UTF-8 文件中看到此行为：

  1. 读取前 2000 个字节：UTF-8

  2. 读取前 4000 个字节：UTF-16

  3. 读取前 8000 个字节：再次UTF-8

对这种行为有什么解释吗？

谢谢！

[编辑]：

这是相关代码：

private static final List<String> encodings = Arrays.asList(StandardCharsets.UTF_8.name(),StandardCharsets.UTF_16.name(),StandardCharsets.UTF_16LE.name(),StandardCharsets.UTF_16BE.name());

private String tryDecodeMultipleEncodings(InputStream inputStream) throws IOException {
    byte[] bytes = new byte[BUFFER_LENGTH];
    inputStream.read(bytes);
    return tryDecodeMultipleEncodings(bytes);
}

private String tryDecodeMultipleEncodings(byte[] buffer) throws CharacterCodingException {
    for (String encoding : encodings) {
        if (tryDecode(buffer,encoding)) {
            return encoding;
        }
    }
    // LOG.warn("Failed decoding input,tried [" + String.join(",",encodings) + "]");
    throw new CharacterCodingException();
}

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

character-encodingencodingencodingencodingjavajavautfutf