在熊猫中每个组的开始处插入倍数日期

Question

我有一个包含数百万个组的数据框。我正在尝试为每个组在每个组的顶部添加3个月的日期（月末日期）。因此，如果组的第一次观察是2019年12月，我想在该观察之前填充3行，其日期为2019年9月至2019年11月。我也想用相关的组ID填充组列，而其他列可以保留为空值。

如果可能，请避免循环，因为这是一个非常大的数据集

这是我之前的DataFrame：

import pandas as pd

before = pd.DataFrame({'Group':[1,1,1,1,1,2,2,2,2,2],
    'Date':['31/10/2018','30/11/2018','31/12/2018','31/01/2019','28/02/2019','30/03/2001','30/04/2001','31/05/2001','30/06/2001','31/07/2001'],
    'value':[1.1,1.7,1.9,2.3,1.5,2.8,2,2,2,2]})

这是我的DataFrame之后的内容

import pandas as pd

after = pd.DataFrame({'Group':[1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2],
'Date':['31/07/2018','31/08/2018','30/09/2018','31/10/2018','30/11/2018','31/12/2018','31/01/2019','28/02/2019','31/12/2000','31/01/2001','28/02/2001','30/03/2001','30/04/2001','31/05/2001','30/06/2001','31/07/2001'],
'value':[np.nan,np.nan,np.nan,1.1,1.7,1.9,2.3,1.5,np.nan,np.nan,np.nan,2.8,2,2,2,2]})

Answer 1

因为如果多个组的解决方案不能很快地分别处理每个组，则想法是将Group的第一行乘以DataFrame.drop_duplicates，将月份的乘以DataFrame.drop_duplicates，将它们连接在一起，并在之间添加所有缺少的日期：

offsets.MonthOffset

最后添加到原始文件和排序：

offsets.MonthOffset

---

before['Date'] = pd.to_datetime(before['Date'], dayfirst=True)

df1 = before.drop_duplicates('Group')

df11 = df1[['Group','Date']].assign(Date = lambda x: x['Date'] - pd.offsets.MonthOffset(3))
df12 = df1[['Group','Date']].assign(Date = lambda x: x['Date'] - pd.offsets.MonthOffset(1))

df = (pd.concat([df11, df12], sort=False, ignore_index=True)
       .set_index('Date')
       .groupby('Group')
       .resample('m')
       .size()
       .reset_index(name='value')
       .assign(value = np.nan))
print (df)
   Group       Date  value
0      1 2018-07-31    NaN
1      1 2018-08-31    NaN
2      1 2018-09-30    NaN
3      2 2000-12-31    NaN
4      2 2001-01-31    NaN
5      2 2001-02-28    NaN