如何在数据框中填充NaN值并在其上取平均值？

问题描述

我正在努力使数据框中的NaN值填充到该点为止的所有值的平均值，例如：

将成为

解决方法

您可以通过运行以下代码来解决该问题

import numpy as np
import pandas as pd

df = pd.DataFrame({
  "A": [ 1,2,3,4,5,pd.NA,11,pd.NA ]
})

for idx in df[pd.isna(df["A"])].index:
    df.loc[idx,"A"] = np.mean(df.loc[ : idx,"A" ])

对每个NaN进行迭代，并用先前值的平均值（包括那些已填充的NaN）填充它。

最后，您将拥有：

编辑

正如RichieV所说，当存在许多NaN时，此解决方案的性能可能是一个问题（其运行时复杂度为O(N^2)），但我们也应避免使用python迭代，因为与本地大熊猫相比，python迭代较慢/ numpy通话。

这是一个优化的版本：

last_idx = None
cumsum = 0
cumnum = 0

for idx in df[pd.isna(df["A"])].index:
    prev_values = df.loc[ last_idx : idx,"A" ]
    # for some reason,pandas includes idx on the slice,so we remove it
    prev_values = prev_values[ : -1 ]
    cumsum += prev_values.sum()
    cumnum += len(prev_values) 
    df.loc[idx,"A"] = int(cumsum / cumnum)
    last_idx = idx

结果：

由于在最坏的情况下，脚本应该两次在数据帧上传递，所以运行时复杂度现在为O(N)。

Marco的答案很好用，但是可以使用math.stackexchange.com上的incremental average formulas进行优化

这里是对其他问题的改编（不是确切的公式，只是概念）。

cumsum = 0
expanding_mean = []
for i,xi in enumerate(df['A']):
    if pd.isna(xi):
        mean = cumsum / i # divide by number of items up to previous row
        expanding_mean.append(mean)
        cumsum += mean
    else:
        cumsum += xi

df.loc[df['A'].isna(),'A'] = expanding_mean

此代码的主要优点是，不必每次迭代都读取当前索引之前的所有项目即可获取均值。

此选项仍然使用python循环-对于熊猫来说这不是最佳选择-但在本用例中似乎没有解决办法（希望有人会从中得到启发并找到没有循环的方法）。

性能测试

定义了三个替代功能：

incremental：我的答案。
from_origin：Marco的原始答案。
incremental_pandas：Marco的最新答案。

使用timeit模块对NaN概率为0.4的随机样本进行了3次重复测试。

完整的测试代码

import pandas as pd
import numpy as np
import timeit
import collections
from matplotlib import pyplot as plt


def incremental(df: pd.DataFrame):
    # error handling
    if pd.isna(df.iloc[0,0]):
        df.iloc[0,0] = 0
    
    cumsum = 0
    expanding_mean = []
    for i,xi in enumerate(df['A']):
        if pd.isna(xi):
            mean = cumsum / i # divide by number of items up to previous row
            expanding_mean.append(mean)
            cumsum += mean
        else:
            cumsum += xi
    df.loc[df['A'].isna(),'A'] = expanding_mean
    return df

def incremental_pandas(df: pd.DataFrame):
    # error handling
    if pd.isna(df.iloc[0,0] = 0

    last_idx = None
    cumsum = 0
    cumnum = 0
    for idx in df[pd.isna(df["A"])].index:
        prev_values = df.loc[ last_idx : idx,"A" ]
        # for some reason,so we remove it
        prev_values = prev_values[ : -1 ]
        cumsum += prev_values.sum()
        cumnum += len(prev_values) 
        df.loc[idx,"A"] = cumsum / cumnum
        last_idx = idx
        
    return df

def from_origin(df: pd.DataFrame):
    # error handling
    if pd.isna(df.iloc[0,0] = 0

    for idx in df[pd.isna(df["A"])].index:
        df.loc[idx,"A" ])

    return df


def get_random_sample(n,p):
    np.random.seed(123)
    return pd.DataFrame({'A': 
        np.random.choice(list(range(10)) + [np.nan],size=n,p=[(1 - p) / 10] * 10 + [p])})


r = 3
p = 0.4 # portion of NaNs

# check result from all functions
results = []
for func in [from_origin,incremental,incremental_pandas]:
    random_df = get_random_sample(1000,p)
    new_df = random_df.copy(deep=True)
    results.append(func(new_df))

print('Passed' if all(np.allclose(r,results[0]) for r in results[1:])
    else 'Failed','implementation test')



timings = {}
for n in np.geomspace(10,10000,10):
    random_df = get_random_sample(int(n),p)
    timings[n] = collections.defaultdict(float)
    results = {}
    for func in ['incremental','from_origin','incremental_pandas']:
        timings[n][func] = (
            timeit.timeit(f'{func}(random_df.copy(deep=True))',number=r,globals=globals())
            / r
        )

timings = pd.DataFrame(timings).T
print(timings)

timings.plot()
plt.xlabel('size of array')
plt.ylabel('avg runtime (s)')
plt.ylim(0)
plt.grid(True)
plt.tight_layout()
plt.show()
plt.close('all')

pandas python

如何在数据框中填充NaN值并在其上取平均值？

问题描述

解决方法

相关问答