有没有一种方法可以使用函数而不是嵌套循环来改善以下过程的运行时间？

编程问答 2022-06-11

问题描述

我的问题是我有一个包含注释的向量，另一个包含试图在注释中找到名称的向量。我的方法是使用fuzzywuzzy，并在第一步中为每个名称分配相应注释获得的分数。这样我就可以说出下一步在哪些评论中可能提到了哪些名称

例如，数据看起来像这样：

# in the original data both would be DFs with more than 1 column
names = pd.DataFrame(["Anna Starkow","Marian Mueller","James Leo Arneau"))

# spelling mistakes and abbreviations
Comments=pd.DataFrame(["Ana Starkov was super good!","M. mueller is in great shape","I like Arneau and Starkow's work","Thanks Anna Starkov,credits to JL Arneau"])

# my approach:

# This is also from stack
N = len(Comments.index)
M = len(names.index)

res= pd.DataFrame([[0] * M]*N)

#My code
DF=pd.concat([Comments.reset_index(drop=True),res],axis=1)


for x in range(len(Comments.index)):
    for i in range(len(names.index)):
        DF[x,i+1]=fuzz.token_set_ratio(DF.Comments[x],names.names[i])

但是，它永远运行并且没有返回结果。

我希望这样的事情会回来：

# Comments                         Anna Starkow  Marian Mueller ....
# Ana Starkov was super good!               80               0  ....
# M. mueller is in great shape               0              70  ....
# ....                                    ....            ....  ....

有没有更有效的方法？

我希望代码中没有错误，因为我不得不在不允许使用Stack的另一台机器上键入它。

解决方法

其他答案集中在加快分配结果的方法上。尽管这可能对性能有所帮助，但您真正的问题是，与Fuzzywuzzy匹配的字符串确实很慢。您可以优化两个部分：

  1. 当将两个字符串传递给fuzz.token_sort_ratio时，它将通过对它们进行小写，删除非字母数字字符并修剪空格来对这些字符串进行预处理。由于您多次遍历名称，因此重复了这项工作

  2. 即使在使用python-Levenshtein时，FuzzyWuzzy在很多地方也没有真正进行优化。您应该将其替换为RapidFuzz，该实现可以通过相似的接口实现相同的算法，但是主要是在C ++中实现的，并且还进行了一些其他算法上的改进，从而使其运行速度更快。 

from rapidfuzz import process,utils


processed_names = [utils.default_process(name) for name in names.names]

for x in range(len(Comments.index)):
    for i,name in enumerate(processed_names):
        DF[x,i+1]=fuzz.token_sort_ratio(
          utils.default_process(DF.Comments[x]),name,processor=None)

如果匹配失败的罚款返回0分，则可以通过传递score_cutoff来进一步提高性能：

fuzz.token_sort_ratio(
  utils.default_process(DF.Comments[x]),processor=None,score_cutoff=<insert your minimum score here>)
,

这里的问题不是Python，而不仅仅是DataFrames，无论您处理的是Pandas还是PySpark，DataFrames的工作方式都与SQL表类似：只要有可能，就应该对DF进行矢量化处理。这使计算机不必担心算法的并行化。

如果您已有DF，则可以使用pandas.DataFrame.apply()将功能有效地应用于每个元素。

在您的情况下，看起来更像是在寻找一种更好的方法来初始化DF。如果您可以将DF内容描述为字典列表（每条记录有一个字典），则建议使用pandas.DataFrame.from_records()。列表中的每个字典将具有类似{'Comments': 'Ana Starkov was super good!','Anna Starkow': 80,'Marian Mueller': 0}的形式（from_dict()方法在概念上相似，但输入格式略有不同。）

这将比逐单元构建/重写DF快得多。

,

您可以尝试以下操作：

 i=0
 l0=[]
 for comment in Comments[0]:
   l=[]
   for name in names[0]:
 
     l.append(fuzz.token_sort_ratio(comment,name))
 
   l0.append(l)
 
 DF_out=pd.concat([Comments.reset_index(drop=True),pd.DataFrame(np.matrix(l0)) ],axis=1)
for-loopfuzzy-comparisonfuzzywuzzypython