如何使用 Pandas 求和每行的不同列集来获取每行的总和？

Question

想象一下我们有一个像这样的 DataFrame：

df = pd.DataFrame(np.array([[284.77, 234.37, 243.8, 84.36, 0., 0., 0., 55.04, 228.2, 181.97, 0., 0.],
                            [13.78, 0., 38.58, 33.16, 0., 38.04, 74.02, 45.74, 27.2, 9.19, 0., 0.],
                            [88.66, 255.72, 323.19, 7.24, 0., 73.38, 45.73, 0., 0., 77.39, 26.57, 279.34],
                            [0., 0., 34.42, 9.16, 0., 43.4, 42.17, 123.69, 60.5, 25.47, 72.32, 7.29],
                            [320.6, 1445.56, 856.23, 371.21, 0., 244.22, 134.58, 631.59, 561.82, 1172.44, 895.68, 186.28],
                            [0., 0., 32.29, 1000.91, 0., 680., 585.46, 466.6, 0., 493.48, 157.1, 125.31]]),
                  columns=[1,2,3,4,5,6,7,8,9,10,11,12])

df['Lists_to_sum'] = [[1,2,3,4],
[4,6,8,9,10,11],
[2],
[3,4,5,6,7,8,9,10,11],
[1,2,3,4,5,6,7,8,9],
[2,3,4,5,6,7,8,9,10,11,12],]

	1	2	3	4	5	6	7	8	9	10	11	12	列表求和
0	284.77	234.37	243.80	84.36	0.00	0.00	0.00	55.04	228.20	181.97	0.00	0.00	[1,2,3,4]
1	13.78	0.00	38.58	33.16	0.00	38.04	74.02	45.74	27.20	9.19	0.00	0.00	[4,6,8,9,10,11]
2	88.66	255.72	323.19	7.24	0.00	73.38	45.73	0.00	0.00	77.39	26.57	279.34	[2]
3	0.00	0.00	34.42	9.16	0.00	43.40	42.17	123.69	60.50	25.47	72.32	7.29	[3,4,5,6,7,8,9,10,11]
4	320.60	1445.56	856.23	371.21	0.00	244.22	134.58	631.59	561.82	1172.44	895.68	186.28	[1,2,3,4,5,6,7,8,9]
5	0.00	0.00	32.29	1000.91	0.00	680.00	585.46	466.60	0.00	493.48	157.10	125.31	[2,3,4,5,6,7,8,9,10,11,12]

我们的目标是添加一列，其中包含每行的总和，但有一个问题：我们只想将每行列表中的列相加，这些列显示在“Lists_to_sum”列中，即 each行有一组不同的列需要添加

最终的 DataFrame 应如下所示：

	1	2	3	4	5	6	7	8	9	10	11	12	列表求和	SUM_per_ROW
0	284.77	234.37	243.80	84.36	0.00	0.00	0.00	55.04	228.20	181.97	0.00	0.00	[1,2,3,4]	847.30
1	13.78	0.00	38.58	33.16	0.00	38.04	74.02	45.74	27.20	9.19	0.00	0.00	[4,6,8,9,10,11]	153.33
2	88.66	255.72	323.19	7.24	0.00	73.38	45.73	0.00	0.00	77.39	26.57	279.34	[2]	255.72
3	0.00	0.00	34.42	9.16	0.00	43.40	42.17	123.69	60.50	25.47	72.32	7.29	[3,4,5,6,7,8,9,10,11]	411.13
4	320.60	1445.56	856.23	371.21	0.00	244.22	134.58	631.59	561.82	1172.44	895.68	186.28	[1,2,3,4,5,6,7,8,9]	4565.81
5	0.00	0.00	32.29	1000.91	0.00	680.00	585.46	466.60	0.00	493.48	157.10	125.31	[2,3,4,5,6,7,8,9,10,11,12]	3541.15

我有没有提到有一个问题？实际上有两个：我们需要矢量化性能作为解决方案。

我尝试用一种幼稚的方法来解决这个问题，这在某种程度上起到了作用：它给了我想要的结果。但它的性能最差，因为代码会迭代每一行。对于像示例中这样的小型 DataFrame 来说，这很好，但是在具有数千万行的巨大 DataFrame 上实现此解决方案，那就是另一回事了。

for n,m,i in zip(df.index, df['Lists_to_sum'], range(0, df.shape[0])):  
    df.at[n,'SUM_per_ROW'] = df[m][i:i+1].sum(axis=1)
    print('{} de {}'.format(i+1, df.shape[0]))

所以，我想知道是否有更好的方法来解决这个问题...你能帮我吗？

Answer 1

代码

cond = pd.get_dummies(df['Lists_to_sum'].explode()).groupby(level=0).max()
df['SUM_per_ROW'] = df.drop('Lists_to_sum', axis=1)[cond].sum(axis=1)

df