Python Pandas自动合并以前的数据

Question

我有一个包含多年数据的DataFrame。我想在同一个DataFrame中创建包含前几年数据的几列。这是一个例子：

df = pd.DataFrame({'id': [1,1,1,2,2,2,3,4,5,3,3,3,4],
                   'yr': [87,88,89,54,55,53,87,87,89,90,91,92,86],
                   'data': '1-87 1-88 1-89 2-54 2-55 2-53 3-87 4-87 5-89 3-90 3-91 3-92 4-86'.split()})
    data  id  yr
0   1-87   1  87
1   1-88   1  88
2   1-89   1  89
3   2-54   2  54
4   2-55   2  55
5   2-53   2  53
6   3-87   3  87
7   4-87   4  87
8   5-89   5  89
9   3-90   3  90
10  3-91   3  91
11  3-92   3  92
12  4-86   4  86

我想添加另一个列，显示前几年该ID号的数据。像这样：

    data  id  yr  last_year_data
0   1-87   1  87  NaN 
1   1-88   1  88  1-87
2   1-89   1  89  1-88
3   2-54   2  54  2-53
4   2-55   2  55  2-54
5   2-53   2  53  NaN
6   3-87   3  87  NaN
7   4-87   4  87  4-86
8   5-89   5  89  NaN
9   3-90   3  90  NaN
10  3-91   3  91  3-90
11  3-92   3  92  3-91
12  4-86   4  86  NaN

我试图通过合并来做到这一点，但是我在合并的下半部分让Nan一路下来。这是我的代码：

df['last_year'] = df['yr'].apply(lambda x: x-1 if x > 0 else None)
df_test = df.merge(df, how='left',indicator=False,left_on=['id','yr'],right_on=['id','last_year'])

我知道有更好的方法可以做到这一点，但我不确定它是什么。你能帮我吗？

Answer 1

你可以使用shift

df['New']=df.sort_values(['id','yr']).groupby('id').data.shift()
df
Out[793]: 
    data  id  yr   New
0   1-87   1  87   NaN
1   1-88   1  88  1-87
2   1-89   1  89  1-88
3   2-54   2  54  2-53
4   2-55   2  55  2-54
5   2-53   2  53   NaN
6   3-87   3  87   NaN
7   4-87   4  87  4-86
8   5-89   5  89   NaN
9   3-90   3  90  3-87
10  3-91   3  91  3-90
11  3-92   3  92  3-91
12  4-86   4  86   NaN