Pandas groupby，删除连续的重复项并作为数据帧返回

问题描述

我有一个数据框，我想按列 'a' 对其进行分组，然后删除组中的连续重复项以返回一个数据框。

例如，如果数据框是

df = pd.DataFrame({'a':[11,11,12,12],'b':['The Effect','effective','more','b','a'],'c':[1,2,3,4,5,6,7,8,9]})

>>> df
    a           b  c
0  11  The Effect  1
1  11   effective  2
2  11        more  3
3  11        more  4
4  12        more  5
5  12           b  6
6  12           b  7
7  12           b  8
8  12           a  9

我的输出应该是

>>> df
    a           b  c
0  11  The Effect  1
1  11   effective  2
2  11        more  3
3  12        more  5
4  12           b  6
5  12           a  9

实际上，数据框很大，包含超过 1200 万个条目。

解决方法

看起来您想将您的数据与其变化进行比较：

d = df[['a','b']]
df[d.ne(d.shift()).any(1)]

输出：

    a           b  c
0  11  The Effect  1
1  11   effective  2
2  11        more  3
4  12        more  5
5  12           b  6
8  12           a  9