如何使用python将iso 8859-1转换成简单的字母

问题描述

我正在尝试使用 python 清理我的 sqlite 数据库。起初我使用此代码加载： 导入 sqlite3、pandas 作为 pd con = sqlite3.connect("DATABASE.db")

import sqlite3,pandas as pd    
df = pd.read_sql_query("SELECT TITLE from DOCUMENT",con)

所以我得到了脏话。例如这个“Conciliaci\363n”我想得到“Conciliacion”。我使用了这个代码：

df['TITLE']=df['TITle'].apply(lambda x: x.decode('iso-8859-1').encode('utf8'))

我在空白单元格中得到了 b''。也得到了'Conciliaci\\363n'。所以也许我做错了。我怎么解决这个问题。提前致谢。

解决方法

不清楚，但如果您的字符串包含这样的文字反斜杠和数字：

>>> s= r"Conciliaci\363n"  # A raw string to make a literal escape code
>>> s
'Conciliaci\\363n'         # debug display of string shows an escaped backslash
>>> print(s)
Conciliaci\363n            # printing prints the escape

然后这将正确解码：

>>> s.encode('ascii').decode('unicode-escape')  # convert to byte string,then decode
'Conciliación'

如果您想丢失问题所示的重音标记，则分解 Unicode 字符串，转换为 ASCII 忽略错误，然后转换回 Unicode 字符串即可：

>>> s2 = s.encode('ascii').decode('unicode-escape')
>>> s2
'Conciliación'
>>> import unicodedata as ud
>>> ud.normalize('NFD',s2) # Make Unicode decomposed form
'Conciliación'              # The ó is now an ASCII 'o' and a combining accent
>>> ud.normalize('NFD',s2).encode('ascii',errors='ignore').decode('ascii')
'Conciliacion'   # accent isn't ASCII,so is removed