Pandas groupby 为未来值滚动

问题描述

我正在尝试将窗口大小为 2 的 pandas 滚动函数与 groupby 一起使用。除了我还希望窗口包含当前值正在进行的值之外,这将是非常标准的。

具体来说,给定

df = pd.DataFrame({'groups':['a','a','b','b'],'info': [i for i in range(10)]})

我想要

pd.DataFrame({'groups':['a','info': [i for i in range(10)],'groupsum':[1,3,5,7,nan,11,13,15,17,nan]})

我尝试了 2 种策略,但都不起作用。我第一次尝试

indexer = pd.api.indexers.FixedForwardWindowIndexer(window_size=2)
df['groupsum'] = df.groupby('groups')['info'].rolling(window=indexer).mean().values

这种方式会导致内核崩溃,即使对于这个玩具数据帧也是如此。很好奇为什么。
我的第二种方法是反转数据帧,然后使用常规的 groupby 滚动操作:

df = df.iloc[::-1].copy()
df.index = range(df.shape[0])
df['groupsum'] = df.groupby('groups')['info'].rolling(2).sum().values

虽然使用这种方法内核不会崩溃,但它不会产生我希望的数据帧;它产生

pd.DataFrame({'groups':['a','groupsum':[nan,7.,5.,3.,1.,17.,15.,13.,11.]})

我想这里有一个我不知道的明显解决方案。任何帮助表示赞赏!

解决方法

如果分配 numpy 数组而不是 Series 它没有正确对齐,请不要这样做以避免此问题。需要通过 Series.reset_indexMultiIndex 删除 drop=True 的第一级,然后通过索引更改顺序:

indexer = pd.api.indexers.FixedForwardWindowIndexer(window_size=2)
df['groupsum'] = df.groupby('groups')['info'].rolling(window=indexer).sum().reset_index(level=0,drop=True)
print (df)
  groups  info  groupsum
0      a     0       1.0
1      a     1       3.0
2      a     2       5.0
3      a     3       7.0
4      a     4       NaN
5      b     5      11.0
6      b     6      13.0
7      b     7      15.0
8      b     8      17.0
9      b     9       NaN

df = df.iloc[::-1].copy()
df.index = range(df.shape[0])
df['groupsum'] = df.groupby('groups')['info'].rolling(2).sum().reset_index(level=0,drop=True)
df = df.iloc[::-1]
print (df)
  groups  info  groupsum
9      a     0       1.0
8      a     1       3.0
7      a     2       5.0
6      a     3       7.0
5      a     4       NaN
4      b     5      11.0
3      b     6      13.0
2      b     7      15.0
1      b     8      17.0
0      b     9       NaN
,

另一种方法:

df["groupsum"] = df.groupby("groups")["info"].apply(lambda x: x + x.shift(-1))
>>> df
  groups  info  groupsum
0      a     0       1.0
1      a     1       3.0
2      a     2       5.0
3      a     3       7.0
4      a     4       NaN
5      b     5      11.0
6      b     6      13.0
7      b     7      15.0
8      b     8      17.0
9      b     9       NaN