大型阵列上的Numpy Unique速度缓慢...有什么方法可以加快速度吗?

问题描述

我正在使用以下代码加载numpy数组,在第一列中找到唯一的日期,然后根据日期从numpy数组中提取一个切片。非常慢。有什么办法可以加快速度吗?也许如果我在第一列上对大数组进行排序?

db = np.load('/content/drive/My Drive/Share/Daily Data/Database/db_unranked.npy',mmap_mode='r',allow_pickle=True)
dates = np.unique(db[:,0])
data = db[db[:,0]==dates[0]]

db_unranked.npy的arary是21GB,大约有800万行和345列。 np.unique耗时10分钟以上,我已经等了30分钟才能完成切片,但仍未完成。我正在使用Google Colab。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)