慢速执行的熊猫变换方法

问题描述

我有一个规范的Pandas transform示例，其中性能似乎莫名其妙地变慢了。我已阅读过相关的Q&A on the apply method，但以我的拙见，我在下面的解释中对我的问题提供了不完整且可能引起误解的答案。

数据框的前五行是

    id      date        xvar
0   1004    1992-05-31  4.151628
1   1004    1993-05-31  2.868015
2   1004    1994-05-31  3.043287
3   1004    1995-05-31  3.189541
4   1004    1996-05-31  4.008760

• 数据框中有24,693行。
• 有2,992个唯一的id值。

我想将xvar居中放置id。

方法1耗时861毫秒：

df_r['xvar_center'] = (
    df_r
    .groupby('id')['xvar']
    .transform(lambda x: x - x.mean())
)

方法2耗时9毫秒：

# Group means
df_r_mean = (
    df_r
    .groupby('id',as_index=False)['xvar']
    .mean()
    .rename(columns={'xvar':'xvar_avg'})
)

# Merge group means onto dataframe and center
df_w = (
    pd
    .merge(df_r,df_r_mean,on='id',how='left')
    .assign(xvar_center=lambda x: x.xvar - x.xvar_avg)
)

Q&A on the apply method建议尽可能使用向量化函数，就像@sammywemmy的注释所暗示的那样。我认为这是重叠的。但是，Q&A on the apply method也会满足以下条件：

“ ......在某些常见情况下，您将希望摆脱对apply ...数值数据的任何调用”

@sammywemmy的评论在回答我的问题时并未“摆脱对transform方法的任何调用。相反，答案取决于transform方法。因此，除非@sammywemmy的建议严格由不依赖transform方法的替代方法所主导，否则我认为我的问题及其答案与Q&A on the apply method中的讨论有足够的区别。 （感谢您的耐心和帮助。）

解决方法

此答案归因于@sammywemmy的有洞察力的评论，他应受到所有赞扬，也不应为此处的任何不准确性负责。因为Pandas User's Guide中说明了transform的类似用法，所以我认为详细说明可能对其他人有用。

我的假设是问题在于使用非矢量化函数和大量组。当我将groupby变量从id（2,992个唯一值）更改为year（由date变量构造并包含28个唯一值）时，原始版本之间的性能差异方法，@ sammywemmy的范围显着缩小，但仍然很重要。

%%timeit
df_r['xvar_center_y'] = (
    df_r
    .groupby('year')['xvar']
    .transform(lambda x: x - x.mean())
)
11.4 ms ± 202 µs per loop (mean ± std. dev. of 7 runs,100 loops each)

vs。

%timeit df_r['xvar_center_y'] = df_r.xvar - df_r.groupby('year')['xvar'].transform('mean')
1.69 ms ± 5.11 µs per loop (mean ± std. dev. of 7 runs,1000 loops each)

@sammywemmy洞察力的美丽之处在于，可以很容易地将其应用于其他常见转换，以实现潜在的显着性能改进，并且在附加代码方面的成本不高。例如，考虑标准化变量：

%%timeit
df_r['xvar_z'] = (
    df_r
    .groupby('id')['xvar']
    .transform(lambda x: (x - x.mean()) / x.std())
)
1.34 s ± 38 ms per loop (mean ± std. dev. of 7 runs,1 loop each)

vs。

%%timeit 
df_r['xvar_z'] = (
    (df_r.xvar - df_r.groupby('id')['xvar'].transform('mean')) 
    / df_r.groupby('id')['xvar'].transform('std')
)
3.96 ms ± 297 µs per loop (mean ± std. dev. of 7 runs,100 loops each)