我有以下数据帧:
d = {'group': ['a', 'b', 'c', 'b', 'b', 'c', 'a', 'b', 'a'],
'cum_sum': [1, 4, 3, 9, 15, 6, 3, 17, 4]}
df = pd.DataFrame(data=d)
我想过滤整个数据帧,只保留每组中的cum_sum小于最大cum_sum x 0.8的记录。
我尝试使用lambda参数并过滤:
grouped = df.groupby('group')
grouped.filter(lambda x: x[x.cum_sum] <= x[x.cum_sum.max()])
但我根本不知道从哪里开始......任何想法......?
根据评论更新!
你可以使用boolean indexing
:
df1 = df[df['cum_sum'].lt(df.groupby('group')['cum_sum'].transform('max') * 0.8)]
print (df1)
group cum_sum
0 a 1
1 b 4
2 c 3
3 b 9
6 a 3
说明:
首先使用GroupBy.transform
与max
系列相同尺寸的原始DataFrame
:
print (df.groupby('group')['cum_sum'].transform('max'))
0 4
1 17
2 6
3 17
4 17
5 6
6 4
7 17
8 4
Name: cum_sum, dtype: int64
多个常数:
print (df.groupby('group')['cum_sum'].transform('max') * 0.8)
0 3.2
1 13.6
2 4.8
3 13.6
4 13.6
5 4.8
6 3.2
7 13.6
8 3.2
Name: cum_sum, dtype: float64
Series.lt
比较<
:
print (df['cum_sum'].lt(df.groupby('group')['cum_sum'].transform('max') * 0.8))
0 True
1 True
2 True
3 True
4 False
5 False
6 True
7 False
8 False
Name: cum_sum, dtype: bool
不太优雅的解决方案,但它的工作原理。
grouped = df.groupby('group').max()['cum_sum'].reset_index()
grouped.columns=['group','max_cum_sum']
df = df.merge(grouped)
df = df.loc[df['cum_sum'] <= df['max_cum_sum']*0.8]