根据条件将计算有效地应用于Pandas DataFrame吗？

编程问答 2022-08-12

问题描述

这是我第一次使用Stack Overflow。我是编码和Pandas的新手，所以请多多包涵。我正在练习使用Python / Pandas而不是Excel来处理数据，并且遇到了以下问题...

我正在尝试按年份对特定列的值进行标准化。我的数据集很小，所以我采用的方法（如下所示）效果很好，但是，我可以肯定，这不是完成此任务的好方法。是否有更好的方法来执行列表解析或将函数应用于DataFrame？ （非常感谢您推荐其他有关学习这些主题或示例的资源！）

样本数据：

IN: df = pd.DataFrame(data=[[2018,10,100,50],[2018,11,110,30],[2017,12,120,10],15,115,40]],columns=['Year','c1','c2','c3'])
OUT:
   Year  c1   c2   c3
0  2018  10  100   50
1  2018  11  110   30
2  2017  12  120   10
3  2017  15  115   40

样本输出：

    Year    c1  c2  c3    c1_std      c2_std
0   2018    10  100 50  -0.707107   -0.707107
1   2018    11  110 30  0.707107    0.707107
2   2017    12  120 10  0.707107    0.707107
3   2017    15  115 40  -0.707107   -0.707107

请注意，标准化输出仅适用于3列中的2列

我的方法：

  1. 首先，我创建了两个表。一种用于按列和年份表示的平均值，一种用于按列和年份表示的标准偏差。

    standard_devs = pd.DataFrame(data=[],index=[2018,2017],columns=['c1','c2'])
means = pd.DataFrame(data=[],'c2'])  
for y in [2018,2017]:
    for col in ['c1','c2']:
        standard_devs.loc[y,col] = df[df['Year']==y][col].std()
        means.loc[y,col] = df[df['Year']==y][col].mean()

  2. 我遍历了原始数据框，并根据适当的年份和列计算了标准化值。

    for i in list(df.index):
    for col in ['c1','c2']:
        year = df.loc[i,'Year']
        df.loc[i,col+'_std'] = (df.loc[i,col]-means.loc[year,col])/standard_devs.loc[year,col]

我之前读过遍历pandas DataFrame是不好的做法。我知道这种方法可能无法扩展，所以我想知道如何提高编码效率。

谢谢大家！

解决方法

您可以在此处使用groupby.transform来计算std和mean。这将按组计算适当的指标，并返回具有相同df轴长度的系列：

for c in ['c1','c2']:
    stds = df.groupby('Year')[c].transform('std')
    means = df.groupby('Year')[c].transform('mean')
    df[f'{c}_std'] = (df[c] - means) / stds

另一种方法是将索引临时设置为groupby键：

means = df.groupby('Year')[['c1','c2']].mean()
stds = df.groupby('Year')[['c1','c2']].std()

(df.join((((df.set_index('Year') - means) / stds))
         .reset_index(drop=True)
         .add_suffix('_std')))

[出] 

   Year  c1   c2  c3    c1_std    c2_std
0  2018  10  100  50 -0.707107 -0.707107
1  2018  11  110  30  0.707107  0.707107
2  2017  12  120  10 -0.707107  0.707107
3  2017  15  115  40  0.707107 -0.707107
iterationiterationlambdalambdalambdalist-comprehensionpandaspandaspython