为什么我可以将 UTF-8 字节字符串解码为 ISO8859-1 并再次返回而没有任何 UnicodeEncodeError/UnicodeDecodeError?

问题描述

为什么在 Python 中没有任何错误可以正常工作?

>>> '你好'.encode('UTF-8').decode('ISO8859-1')
'ä½\xa0好'
>>> _.encode('ISO8859-1').decode('UTF-8')
'你好'

我原以为它会因 UnicodeEncodeError 或 UnicodeDecodeError 而失败

是否存在 ISO8859-1 和 UTF-8 的某些属性,以便我可以采用任何 UTF-8 编码字符串并将其解码为 ISO8859-1 字符串,稍后可以将其反转以获得原始 UTF-8 字符串?

我正在使用仅支持 ISO8859-1 字符集的旧数据库。通过将 UTF-8 编码的字符串解码为 ISO8859-1,并将生成垃圾字符串存储在数据库中,开发人员似乎能够在该数据库中存储中文和其他语言。查询数据库的下游系统必须将垃圾字符串编码为 ISO8859-1,然后使用 UTF-8 解码结果以获得正确的字符串。

我会认为这样的过程根本行不通。

我错过了什么?


解决方法

ISO-8859-1 的特殊属性是它所代表的 256 个字符与前 256 个 Unicode 码位 1:1 对应,因此字节 00h 解码为 U+0000,字节 FFh 解码为 U+00FF。

因此,如果您编码为 UTF-8,解码为 ISO-8859-1,您将得到一个 Unicode 字符串,该字符串由值与 UTF-8 匹配的代码点组成字节编码:

>>> s = '你好'
>>> s.encode('utf8').hex()
'e4bda0e5a5bd'
>>> s.encode('utf8').decode('iso-8859-1')
'ä½\xa0好'
>>> for c in u:
...  print(f'{c} U+{ord(c):04X}')
...
ä U+00E4   # Unicode code points are the same as the bytes of UTF-8.
½ U+00BD
  U+00A0
å U+00E5
¥ U+00A5
½ U+00BD
>>> u.encode('iso-8859-1').hex()  # transform back to bytes.
'e4bda0e5a5bd'
>>> u.encode('iso-8859-1').decode('utf8')   # and decode to UTF-8 again.
'你好'

任何具有所有 256 个字节表示的 8 位编码也可以使用,只是不会是 1:1 映射。代码页 1256 就是这样一种编码:

>>> for c in s.encode('utf8').decode('cp1256'):
...  print(f'{c} U+{ord(c):04X}')
...
ن U+0646   # This would still .encode('cp1256') back to byte E4,for example
½ U+00BD
  U+00A0
ه U+0647
¥ U+00A5
½ U+00BD
,

不,ISO8859-1 没有特殊属性,但有一个在许多 8 位编码中常见的属性:它们接受从 0 到 255 的所有字节。

所以您 decode('ISO8859-1') 只是以一种独特的方式将字节转换为 256 个字符(和控制代码)。然后你做相反的动作,所以你什么都没有。

大多数旧的 8 位编码都会发生这种情况:它们应该只有一个相应的 Unicode 代码点(因为 Python 期望字符串是 Unicode 字符串)。

注意:实际上 ISO8859-1 与 Unicode 是特殊的:Unicode 的前 256 个代码点对应于 Latin-1 字符(具有相同的数字)。但这对您的实验没有太大影响。

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...