问题描述
假设我有一个非常大的数据集,其中包括许多人的电子健康记录,每个记录都有与每个人隔离的感染数据和基因序列。
Person
|_ID
|_Drug Purchases
| |_Drug
| |_Prescription date
|_Isolated Infection
|_Date Isolated
|_Isolate ID
|_Gene (array)
|_Name
|_Sequence
|_Length
|_Coverage
等等……
当我分析数据时,我想比较某些属性,其中一些属性是嵌套的,跨结构。最好的方法是什么?
这个问题可以简化为:
- 建议使用什么包/类来创建无法一次全部加载到 RAM 的嵌套结构的多个实例?
- 您推荐的保存此类数据结构的格式是什么,既不会产生过多的行重复,又能使每个属性都可用于分析?
- 上传和分析大型嵌套结构的最佳 MO 是什么?
以下是我迄今为止拼凑的部分:
-
我意识到我可能应该在分析步骤中使用熊猫,并且应该基于列上传数据,这可以使用镶木地板(但请告诉我是否有其他好的选择)。需要注意的是,为了将文件保存为镶木地板文件,我必须“取消嵌套”结构并为每个感染和每个患者中的每个基因创建一个唯一的列,这将使行数乘以 x10,000或更多,增加文件大小并减慢处理速度。
-
我发现 dask.Bag 做了我想做的事情,因为它“扩展”了嵌套结构,使用了熊猫,并且可以保存在镶木地板中。我想知道是否还有我应该考虑的 dask.bag 替代品?
我确信我遗漏了一些东西,因为我没有发明这种分析形式,而且从多个来源收集的大多数数据集都会有一定程度的嵌套。你们在分析中使用什么?
解决方法
主要是 Pandas 不是为这种工作流程设计的。是的,您可以在列中存储列表和字典,但它们将是 Python 对象,您只能通过迭代行来处理它们,这会相对较慢;但如果您的行数不是太大,那可能没问题。在这种情况下,例如,您可以将数据存储在 CSV 或 parquet 中,其中嵌套结构是一个 JSON 字符串(可以处理列表和字典)。
然而,Parquet 可以直接存储嵌套数据。不幸的是,目前在 python 中没有读取这些数据的好方法,pyarrow 和 fastparquet 都只提供非常有限的支持(尽管箭头结构与 parquet 存储布局非常兼容); cuDF 的阅读器现在可能更先进了。
您可能没有听说过的一个有吸引力的即将到来的可能性是 awkward-array
,它专门设计用于分析这种深度嵌套的数据,具有类似 C 的性能。它支持 reading from parquet,但我相信只能通过 pyarrow 的有限支持;但是,从 JSON 加载相对高效。请试用该套餐,看看它对您的价格如何。
-编辑-
我想实际回答这个问题,是的,dask.bag 在迭代操作对象方面做得很好,并且很容易与文本文件(如 JSON)交互。如果你能把你的数据做成表格的形式,而不会让数据爆炸,那是一条不错的路;如果没有,则使用 dicts/lists 可以正常工作,但速度要慢得多。