我有一张桌子放在我用pandas对象中
pd.read_parquet(filename)
我在数据集中有3列感兴趣的列，其中2列是数据，一列是ID。我必须在整个集合中搜索值，但要丢弃重复的ID。
将这些ID放入数据结构或首先清除重复数据的最快方法是什么？我当时在想一本字典，但是也许已经有一种方法可以更快地使用熊猫或使用某些现金了。
谢谢！
尝试
pd.read_parquet(filename).drop_duplicates(['ID'])
