搜索值是否以pandas paquet格式的列唯一的最佳方法是什么？

问题描述

我有一张桌子放在我用pandas对象中

pd.read_parquet(filename)

我在数据集中有3列感兴趣的列，其中2列是数据，一列是ID。我必须在整个集合中搜索值，但要丢弃重复的ID。

将这些ID放入数据结构或首先清除重复数据的最快方法是什么？我当时在想一本字典，但是也许已经有一种方法可以更快地使用熊猫或使用某些现金了。

谢谢！

解决方法

尝试

pd.read_parquet(filename).drop_duplicates(['ID'])