问题描述
rx_dctvals = {}
for key,val in pos_table.items():
rx_dctvals[re.compile("|".join(sorted([to_regex(v) for v in val],key=len,reverse=True)))] = key
是否可以使用 dict comprehension 或其他使用 pos_table dict 的键、值对 dict rx_dctvals 进行单行初始化?我很好奇。 这在一行中?在这一点上,我在分配中挣扎:
for rx,repl in rx_dctvals.items():
line = rx.sub(repl.replace('\\','\\\\'),line)
这是完整的代码。该脚本将 POS(Penn Treebank 单词的词性更改为标准 POS。它还打印每个单词的 NER(名称实体识别)。它从文件加载 pos 之间的等价表并设置正则表达式来更改它们。>
# -*- coding: utf-8 -*-
#!usr/bin/env python3
import nltk
from nltk.tokenize import sent_tokenize,word_tokenize
from nltk import ne_chunk,pos_tag
from nltk.chunk import tree2conlltags
import re
import sys
# fonction qui charge le premier dictionnaire de données (valeurs particulières,valeurs universelles,étiquètes POS et NER)
# c'est ce qui va servir de base pour la construction de nos regex.
def load_pos_table():
try:
with open('POSTags_PTB_Universal_Linux.txt','r',encoding='utf-8') as universal:
dict_pos = {}
for sent in universal.readlines():
for line in sent.splitlines():
cut = line.strip().split()
dict_pos[cut[1]] = dict_pos.get(cut[1],list()) + [cut[0]]
return dict_pos
except Exception as erreur:
print(f'load_pos_table : {erreur}')
# fonction qui utilise un solide module regex pour supprimer les formes non standards (POS tag et NER) et les remplacer par les formes universelles
# cette fonction a l'avantage d’être générique et peut s’appliquer partout pour remplacer tout ce que l'on souhaite. Elle se base sur un dictionnaire.
def convert_format(line,pos_table):
try:
# comme il peut y avoir plusieurs formes non standards pour une forme universelle,on crée un regex d’agrégation en triant les valeurs par ordre décroissant de taille
# pour éviter les conflits de remplacements. C'est la clé du dictionnaire. Sa valeur est l’étiquette universelle correspondante.
rx_dctvals = {re.compile("|".join(sorted([to_regex(v) for v in val],reverse=True))):key for key,val in pos_table.items()}
# on remplace séquentiellement nos valeurs non standards par leur équivalent universel avec notre liste de regex constituées précédemment.
for rx,repl in rx_dctvals.items():
line = rx.sub(repl.replace('\\',line)
return line
except Exception as erreur:
print(f'convert_tag: {erreur}')
# fonction pour bien définir les délimitations entre les mots dans les regex et pour échapper les caractères spéciaux.
def to_regex(x):
r = []
if x[0].isalnum() or x[0] == '_':
r.append(r'(?<![^\W_])')
else:
if any(l.isalnum() or l=='_' for l in x):
r.append(r'\B')
r.append(re.escape(x))
if x[-1].isalnum() or x[-1] == '_':
r.append(r'\b')
else:
if any(l.isalnum() or l=='_' for l in x):
r.append(r'\B')
return "".join(r)
# fonction qui extrait les entités nommées en se basant sur le package ne_chunk et qui pos tag tous les mots également
# elle renvoie le résultat sous forme d'une liste de tuples.
def extract_entities(doc):
# on tokenise et on extrait les entités nommées avec ne_chunk.
return [tree2conlltags(ne_chunk(pos_tag(word_tokenize(sent)))) for sent in sent_tokenize(doc)]
def main():
try:
with open('wsj_0010_sample.txt',encoding='utf-8') as file,open('wsj_0010_sample.txt.ne.nltk','w',encoding='utf-8') as result_file:
pos_table = load_pos_table()
content = file.read()
# on écrit un mot par ligne dans le fichier de résultats avec son POS et son NER (séparés par une tabulation (format universel ou standard)
# grace à une list comprehension
[[result_file.write(convert_format(f'{name}\t{tag}\t{ner}\n',pos_table)) for name,tag,ner in line] for line in extract_entities(content)]
except Exception as error:
print(f'main error : {error}')
if __name__ == '__main__':
main()
如果你能看到更短的完成任务的方法,请告诉我。
解决方法
询问评论,OP 说它有效,将其转化为答案。
rx_dctvals = {re.compile("|".join(sorted([to_regex(v) for v in val],key=len,reverse=True))):key for key,val in pos_table.items()}
我唯一要发表的评论是,OP 使用了 x[val] = key
,所以我这样做了。但是 OP,我希望你知道你使用钥匙打开一箱好东西。