组织和重复数据删除Parquet数据库

问题描述

我继承了分区镶木地板文件的目录。表格中的每一行都有类似的内容

ID,Timestamp,partition_col_a,partition_col_b,Data

某些数据在文件之间重复，因此ID 124的2:00 PM记录可能会出现在2个文件中。我需要删除重复项，并且我真的不在乎是否保留哪个条目。

摆脱这些重复的最有效方法是什么？效率至关重要，因为数据库非常庞大（多个TB的镶木地板文件）。

我目前正在通过以下方式进行操作：

import pandas as pd

for partition_value_1,partition_value_2 in values_iterator:
  pd.read_parquet(data_dir,filters = [[
      ('partition_col_a','=',partition_value_1),('partition_col_b',partition_value_2)
    ]])\
  .drop_duplicates(['ID','Timestamp']).to_parquet(new_data_dir,partition_cols = ['partition_col_a','partition_col_b'])

我分析代码时，预计会花大量时间进行drop_duplicates调用，但是大部分时间都花在了从data_dir的读取上（大部分用于dataset.py:405(_filesystem_dataset)），然后将表格写到new_data_dir。这让我觉得我为此任务使用了错误的工具

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）