Cumsum 重置为 NaN

Question

如果我有一个名为

pandas.core.series.Series

的

ts

，其中包含 1 或 NaN，如下所示：

3382   NaN
3381   NaN
...
3369   NaN
3368   NaN
...
15     1
10   NaN
11     1
12     1
13     1
9    NaN
8    NaN
7    NaN
6    NaN
3    NaN
4      1
5      1
2    NaN
1    NaN
0    NaN

我想计算这个系列的累积和，但应该在 NaN 的位置重置（设置为零），如下所示：

3382   0
3381   0
...
3369   0
3368   0
...
15     1
10     0
11     1
12     2
13     3
9      0
8      0
7      0
6      0
3      0
4      1
5      2
2      0
1      0
0      0

理想情况下我想要一个矢量化解决方案！

我曾经在 Matlab 中看到过类似的问题： Matlab cumsum 重置为 NaN？

但我不知道如何翻译这句话

d = diff([0 c(n)]);

Answer 1

甚至还有更多熊猫式的方法：

v = pd.Series([1., 3., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
cumsum = v.cumsum().fillna(method='pad')
reset = -cumsum[v.isnull()].diff().fillna(cumsum)
result = v.where(v.notnull(), reset).cumsum()

与 matlab 代码相反，这也适用于不同于 1 的值。

Answer 2

Matlab 代码的简单 Numpy 翻译如下：

import numpy as np

v = np.array([1., 1., 1., np.nan, 1., 1., 1., 1., np.nan, 1.])
n = np.isnan(v)
a = ~n
c = np.cumsum(a)
d = np.diff(np.concatenate(([0.], c[n])))
v[n] = -d
np.cumsum(v)

执行此代码将返回结果

array([ 1.,  2.,  3.,  0.,  1.,  2.,  3.,  4.,  0.,  1.])

。该解决方案仅与原始解决方案一样有效，但如果它不足以满足您的目的，它也许会帮助您想出更好的解决方案。

Answer 3

这是一种稍微更像熊猫的方法：

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

请注意，其中任何一个都要求您至少在

pandas

 或更新版本中使用 

9da899b。如果您不是，那么您可以将

bool

dtype

转换为

int64

或

float64

dtype

:

v = Series([1, 1, 1, nan, 1, 1, 1, 1, nan, 1], dtype=float)
n = v.isnull()
a = ~n
c = a.astype(float).cumsum()
index = c[n].index  # need the index for reconstruction after the np.diff
d = Series(np.diff(np.hstack(([0.], c[n]))), index=index)
v[n] = -d
result = v.cumsum()

Answer 4

如果您可以接受类似的布尔系列

b

，请尝试

(b.cumsum() - b.cumsum().where(~b).fillna(method='pad').fillna(0)).astype(int)

从您的系列

ts

开始，

b = (ts == 1)

或

b = ~ts.isnull()

。

Answer 5

您可以使用

expanding().apply

和

replace

以及

method='backfill'

来做到这一点

reset_at = 0

ts.expanding().apply(
    lambda s:
        s[
            (s != reset_at).replace(True, method='backfill')
        ].sum()
).fillna(0)

Answer 6

另一种方法是：

cond = ts.isnull()
groups = (cond != cond.shift()).cumsum()
result = ts.groupby(groups).apply(lambda x: x.cumsum()).fillna(0).convert_dtypes()
result.index = result.index.get_level_values(1)