Pandas groupby 将当前行之前的日期转换为巨大的数据框的平均值

Question

我有一个 Pandas 数据框，看起来像

df = pd.DataFrame([['John', '1/1/2017','10'],
                   ['John', '2/2/2017','15'],
                   ['John', '2/2/2017','20'],
                   ['John', '3/3/2017','30'],
                   ['Sue', '1/1/2017','10'],
                   ['Sue', '2/2/2017','15'],
                   ['Sue', '3/2/2017','20'],
                   ['Sue', '3/3/2017','7'],
                   ['Sue', '4/4/2017','20']],
                   columns=['Customer', 'Deposit_Date','DPD'])

我想创建一个名为

PreviousMean

的新行。此列是该客户今年迄今为止的 DPD 平均值。即包括截至但不包括与当前存款日期匹配的行的所有 DPD。如果之前不存在记录，则为 null 或 0。

所以期望的结果看起来像这样

  Customer Deposit_Date  DPD  PreviousMean
0     John   2017-01-01   10           NaN
1     John   2017-02-02   15          10.0
2     John   2017-02-02   20          10.0
3     John   2017-03-03   30          15.0
4      Sue   2017-01-01   10           NaN
5      Sue   2017-02-02   15          10.0
6      Sue   2017-03-02   20          12.5
7      Sue   2017-03-03    7          15.0
8      Sue   2017-04-04   20          13.0

经过对网站和互联网的一些研究，这里有一个解决方案：

df['PreviousMean'] = df.apply(
    lambda x: df[(df.Customer == x.Customer) & (df.Deposit_Date < x.Deposit_Date)].DPD.mean(), 
axis=1)

而且效果很好。然而，我的实际数据帧要大得多（约 100 万行），并且上面的代码非常慢。有没有更好的办法呢？谢谢

Answer 1

尝试使用

expanding

！ 这是例子：

df['Deposit_Date']= pd.to_datetime(df['Deposit_Date'])
df =df.sort_values(by=['Customer','Deposit_Date'])
df['DPD']= pd.to_numeric(df['DPD'])
df['PreviousMean'] = (
    df.groupby('Customer')['DPD']
    .expanding() #!!!
    .apply(lambda x: x[:-1].mean() if len(x) > 1 else float('nan'))
    .reset_index(level=0, drop=True)
)