为什么这个字典理解这么慢？请提出加快速度的方法

问题描述

嗨，请帮助我：加快字典压缩速度；提供了一种更好的方法来执行此操作，或者更好地理解为什么它在内部如此之慢（例如，随着字典的内存大小增加，计算速度会变慢）。我敢肯定，没有学习C语言，肯定有一种更快的方法！

classes = {i : [1 if x in df['column'].str.split("|")[i] else 0 for x in df['column']] for i in df.index}

与输出： {1:[0,1,0...0],......,4000:[0,1...0]}

从这样的df中获取：

data_ = {'drugbank_id': ['DB06605','DB06606','DB06607','DB06608','DB06609'],'drug-interactions': ['DB06605|DB06695|DB01254|DB01609|DB01586|DB0212','DB06605|DB06695|DB01254|DB01609|DB01586|DB0212','DB06606|DB06607|DB06608|DB06609','DB06606|DB06607','DB06608']
                             }

pd.DataFrame(data = data_,index=range(0,5) )

我正在具有4000行的df中执行它，列df ['column']包含一串由|分隔的ID。每行中需要拆分的ID的数量在1到1000之间变化，但是，这对于所有4000个索引都是这样做的。我在df的头上对其进行了测试，它看起来足够快，现在理解已经运行了24小时。因此，也许仅仅是工作的规模而已，但是我觉得我可以加快速度，在这一点上我想阻止它进行重新设计，但是，我担心这会使我退缩而不会大大提高速度，所以在我这样做之前，我想先获得一些想法，想法和建议。

超过4000x4000的大小，我怀疑使用系列和索引对象是另一个问题，最好使用列表，但是鉴于任务的大小，我不确定会获得多少速度，也许我是最好使用其他方法，例如pd.apply（df，f（逐行写入json））。我不确定-感谢您的帮助和教育，谢谢。

解决方法

这是一种方法：

import pandas as pd

# create data frame
df = pd.DataFrame({'idx': [1,2,3,4],'col': ['1|2','1|2|3','2|3','1|4']})

# split on '|' to convert string to list
df['col'] = df['col'].str.split('|')

# explode to get one row for each list element
df = df.explode('col')

# create dummy ID (this will become True in the final result)
df['dummy'] = 1

# use pivot to create dense matrix
df = (df.pivot(index='idx',columns='col',values='dummy')
        .fillna(0)
        .astype(int))

# convert each row to a list
df['test'] = df.apply(lambda x: x.to_list(),axis=1)
print(df)

col  1  2  3  4          test
idx                          
1    1  1  0  0  [1,1,0]
2    1  1  1  0  [1,0]
3    0  1  1  0  [0,0]
4    1  0  0  1  [1,1]

,

您可以使用dummies实现所需的输出。我们拆分列stack，并使用max将其转换为基于原始索引的虚拟指示符。然后，根据reindex列，使用'drugbank_id'以您想要的顺序获取它。

最后要获得想要的字典，我们将转置并使用to_dict

classes = (pd.get_dummies(df['drug-interactions'].str.split('|',expand=True).stack())
             .max(level=0)
             .reindex(df['drugbank_id'],axis=1)
             .fillna(0,downcast='infer')
             .T.to_dict('list'))

print(classes)
{0: [1,0],#Has DB06605,No DB06606,No DB06607,No DB06608,No DB06609
 1: [1,2: [0,1],3: [0,4: [0,0]}