熊猫滚动窗口有效添加新行

Question

我有一个相当大的数据集（大约500万行），其中包含多个计算列，例如滞后（1和7）和滚动窗口（7、30、90，每个都有多个值，例如均值，标准，最小值，最大值等）。现在，我需要向df添加一行或多行，而我想知道最有效的方法来（重新）计算这些特征。重新计算整个df将花费太多时间，但是我不能简单地将函数应用于新添加的行。

对于滞后来说，这不是什么大问题，我可以简单地例如对于滞后1，

df.iloc[-1, -2] = df.iloc[-2, -2]

这应该可以解决问题（对滞后7而言相同），但是滚动窗口又如何呢？相同的方法行不通，而且我负担不起（重新）在整个数据帧上运行滚动窗口。我可以手动进行计算吗？还有其他方法吗？

Python 3.7.7和pandas 1.0.3

Answer 1

如果我正确地解释了问题，则您有一个大型DataFrame，其中包含一个或多个源数据列，然后是具有多个基于源列的汇总统计信息的列。您尝试在将新行追加到源数据列之后更新窗口摘要列的底部，而不重新计算整个摘要列。

解决此问题的方法将取决于许多因素，包括是否使用居中的窗口。希望这可以帮助您入门。

我将从问题的玩具版本入手，其中有一个source列和两个带有窗口的含义：

In [29]: df = pd.DataFrame({'source': np.arange(0, 20, 2)})

In [30]: for window in [3, 5]:
    ...:     df[f'rolling_mean_{window}'] = (
    ...:         df.source.rolling(window, center=True).mean())
    ...:

然后我们在底部添加新行：

In [32]: df = df.append(pd.Series({'source': 100}), ignore_index=True)

In [33]: df
Out[33]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0             2.0             NaN
2      4.0             4.0             4.0
3      6.0             6.0             6.0
4      8.0             8.0             8.0
5     10.0            10.0            10.0
6     12.0            12.0            12.0
7     14.0            14.0            14.0
8     16.0            16.0             NaN
9     18.0             NaN             NaN
10   100.0             NaN             NaN

我们必须更新的数据量取决于窗口的长度。例如，要更新rolling_mean_3，我们需要使用后五行中的信息来更新后两行。为了安全起见，我们可以重新计算最后的2*window行：

In [39]: df.source.iloc[-window*2:].rolling(window, center=True).mean()
Out[39]:
5           NaN
6     12.000000
7     14.000000
8     16.000000
9     44.666667
10          NaN
Name: source, dtype: float64

此行6-10的数据正确。请注意，第5行在此版本中不正确，但是我们可以使用此结果仅更新最后的[-window:]行。这是完整的解决方案：

In [45]: for window in [3, 5]:
    ...:     update_column_name = f'rolling_mean_{window}'
    ...:     update_column_index = df.columns.get_loc(update_column_name)
    ...:     df.iloc[-window:, update_column_index] = (
    ...:         df.source
    ...:         .iloc[-window*2:]
    ...:         .rolling(window, center=True).mean()
    ...:         .iloc[-window:]
    ...:     )

In [46]: df
Out[46]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0        2.000000             NaN
2      4.0        4.000000             4.0
3      6.0        6.000000             6.0
4      8.0        8.000000             8.0
5     10.0       10.000000            10.0
6     12.0       12.000000            12.0
7     14.0       14.000000            14.0
8     16.0       16.000000            32.0
9     18.0       44.666667             NaN
10   100.0             NaN             NaN

现在已更新为具有正确计算的尾巴