如何用pandas DataFrame中的先前值替换NaN?

问题描述 投票:68回答:8

假设我有一些带有一些NaNs的DataFrame:

>>> import pandas as pd
>>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
>>> df
    0   1   2
0   1   2   3
1   4 NaN NaN
2 NaN NaN   9

我需要做的是将每个NaN替换为其上方同一列中的第一个非NaN值。假设第一行永远不会包含NaN。因此,对于前面的示例,结果将是

   0  1  2
0  1  2  3
1  4  2  3
2  4  2  9

我可以逐个循环遍历整个DataFrame,逐个元素并直接设置值,但是有一种简单(最佳无循环)的方法来实现这一点吗?

python python-3.x pandas dataframe nan
8个回答
134
投票

您可以在DataFrame上使用fillna方法,并将方法指定为ffill(向前填充):

>>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
>>> df.fillna(method='ffill')
   0  1  2
0  1  2  3
1  4  2  3
2  4  2  9

这个方法......

将最后有效观察值传播到下一个有效值

换句话说,还有一种bfill方法。

此方法不会修改DataFrame - 您需要将返回的DataFrame重新绑定到变量,或者指定inplace=True

df.fillna(method='ffill', inplace=True)

15
投票

接受的答案是完美的。我有一个相关但略有不同的情况,我必须填写前进,但只在组内。如果有人有相同的需求,请知道fillna适用于DataFrameGroupBy对象。

>>> example = pd.DataFrame({'number':[0,1,2,nan,4,nan,6,7,8,9],'name':list('aaabbbcccc')})
>>> example
  name  number
0    a     0.0
1    a     1.0
2    a     2.0
3    b     NaN
4    b     4.0
5    b     NaN
6    c     6.0
7    c     7.0
8    c     8.0
9    c     9.0
>>> example.groupby('name')['number'].fillna(method='ffill') # fill in row 5 but not row 3
0    0.0
1    1.0
2    2.0
3    NaN
4    4.0
5    4.0
6    6.0
7    7.0
8    8.0
9    9.0
Name: number, dtype: float64

12
投票

你可以使用pandas.DataFrame.fillnamethod='ffill'选项。 'ffill'代表“向前填充”,并将向前宣传最后一次有效观察。另一种选择是'bfill',其工作方式相同,但向后。

import pandas as pd

df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]])
df = df.fillna(method='ffill')

print(df)
#   0  1  2
#0  1  2  3
#1  4  2  3
#2  4  2  9

还有一个直接的同义词函数,pandas.DataFrame.ffill,使事情更简单。


7
投票

我在尝试这个解决方案时注意到的一件事是,如果你在数组的开头或结尾有N / A,那么ffill和bfill就不行了。你需要两者。

In [224]: df = pd.DataFrame([None, 1, 2, 3, None, 4, 5, 6, None])

In [225]: df.ffill()
Out[225]:
     0
0  NaN
1  1.0
...
7  6.0
8  6.0

In [226]: df.bfill()
Out[226]:
     0
0  1.0
1  1.0
...
7  6.0
8  NaN

In [227]: df.bfill().ffill()
Out[227]:
     0
0  1.0
1  1.0
...
7  6.0
8  6.0

3
投票

只是同意ffill方法,但一个额外的信息是你可以用关键字参数limit限制前向填充。

>>> import pandas as pd    
>>> df = pd.DataFrame([[1, 2, 3], [None, None, 6], [None, None, 9]])

>>> df
     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  6.0
2  NaN  NaN  9.0

>>> df[1].fillna(method='ffill', inplace=True)
>>> df
     0    1    2
0  1.0  2.0  3.0
1  NaN  2.0  NaN
2  NaN  2.0  9.0

现在用limit关键字参数

>>> df[0].fillna(method='ffill', limit=1, inplace=True)

>>> df
     0    1  2
0  1.0  2.0  3
1  1.0  2.0  6
2  NaN  2.0  9

2
投票

ffill现在有自己的方法pd.DataFrame.ffill

df.ffill()

     0    1    2
0  1.0  2.0  3.0
1  4.0  2.0  3.0
2  4.0  2.0  9.0

1
投票

只有一个列版本

  • 使用上一个有效值填充NAN
df[column_name].fillna(method='ffill', inplace=True)
  • 使用下一个有效值填充NAN
df[column_name].fillna(method='backfill', inplace=True)

0
投票

就我而言,我们有来自不同设备的时间序列,但有些设备在某段时间内无法发送任何值。因此,我们应该为每个设备和时间段创建NA值,之后再填充。

df = pd.DataFrame([["device1", 1, 'first val of device1'], ["device2", 2, 'first val of device2'], ["device3", 3, 'first val of device3']])
df.pivot(index=1, columns=0, values=2).fillna(method='ffill').unstack().reset_index(name='value')

结果:

        0   1   value
0   device1     1   first val of device1
1   device1     2   first val of device1
2   device1     3   first val of device1
3   device2     1   None
4   device2     2   first val of device2
5   device2     3   first val of device2
6   device3     1   None
7   device3     2   None
8   device3     3   first val of device3
© www.soinside.com 2019 - 2024. All rights reserved.