如何将来自数据帧的多个元组列表组合到一个字典中？

问题描述

我环顾四周，并不能真正将信息放在不同的局部解决方案中，所以这是问题所在：

在分析Amazon评论时，我将数据组织到一个数据框中，并创建了一个列，其中包含每个评论中使用的每个单词的计数。因此，我有一列，其中每一行都包含一个元组列表。

我正在寻找一种有效的方法（我的数据集包含数百万条评论），将所有这些元组列表合并到一个字典中。理想情况下，这本词典应该已经包含了每个单词的权重（这是它们各自评论的票数），尽管我以后可以弄清楚，如果问得太多的话。

这是一个例子：

df['words'] = [('thank',2),('you',('this',5)],[('interesting',1),3)],[('thank,3),('me',('later',2)],[('me',('interesting',1)],[('thank',('again',1)]
df['Votes'] = 10
               5
               2
               1
               1

所需的输出（或作为嵌套字典）-第一个数字是出现在元组中的频率之和，而第二个数字是位于“投票”列中的权重之和：

top_words = {'this':(8,15),'thank':(7,13),'me':(4,'you':(3,11),'interesting':(2,6),'later':(2,'again':(1,1)}

我已经尝试了dict（zip（* df [words]）和其他一些类似的方法，但是总是会出错（增加的加权信息非常棒，但还不是必须的）。我感觉答案是相当简单，但是却在逃避我。

建议？

解决方法

您可以为此使用reduce函数和numpy。

df = {}
df['words'] = [[('thank',2),('you',('this',5)],[('interesting',1),3)],[('thank',3),('me',('later',2)],[('me',('interesting',1)],('again',1)]]
df['votes'] = [10,5,2,1,1]

from functools import reduce
import numpy as np

data = dict(zip(df['votes'],df['words']))
'''
{
 1: [('thank',2: [('thank',5: [('interesting',10: [('thank',5)]
}
'''

def add(a,x,data):
  for word in data[x]:
    if word[0] not in list(a.keys()):
      a[word[0]] = (0,0)
    a[word[0]] = tuple(np.add(a[word[0]],(word[1],x)))
  return a

output = reduce(lambda a,x: add(a,data),data,{})

'''
{
 'again': (1,'interesting': (1,5),'later': (2,'me': (2,'thank': (7,13),'this': (8,15),'you': (3,11)
}
'''

我使用dict(zip(df['votes'],df['words']))是因为reduce函数需要输入的类型与输出的类型相同。

,

尝试一下：

import numpy as np

top_words = {}
for ind,row in df.iterrows():
    for word in row["words"]:
        top_words[word[0]] = (sum(j[1] for i in df["words"]  for j in i if j[0] == word[0]),sum(i["votes"] for ind,i in df.iterrows() if word[0] in np.array(i["words"])))