查找数据框中所有分类列中每个值的概率

Question

我的问题几乎与查找数据框中所有分类列中每个值的频率相同，但我需要概率，而不是频率。我们可以使用相同的示例数据框：

df = pd.DataFrame(
    {'sub_code': ['CSE01', 'CSE01', 'CSE01', 'CSE02', 'CSE03', 'CSE04',
                  'CSE05', 'CSE06'],
     'stud_level': [101, 101, 101, 101, 101, 101, 101, 101],
     'grade': ['STA', 'STA', 'PSA', 'STA', 'STA', 'SSA', 'PSA', 'QSA']})

我尝试通过以下方式调整这个答案：

out = (df.select_dtypes(object)
       .melt(var_name="Variable", value_name="Class")
       .value_counts(dropna=False, normalize=True)
       .reset_index(name="Probability")
       .sort_values(by=['Variable', 'Class'], ascending=[True, True])
       .reset_index(drop=True))

但是，代码不起作用，因为每个变量的类概率之和不是 1。我做错了什么？

Answer 1

IIUC，融化后需要在

groupby

上

'Variable'

。这将为您提供

'Class'

中每个值相对于

'Variable'

中每个值的概率。

out = (
    df.select_dtypes(object)
    .melt(var_name="Variable", value_name="Class")
    .groupby("Variable")  # add this
    .value_counts(dropna=False, normalize=True)
    .reset_index(name="Probability")
    .sort_values(by=["Variable", "Class"], ascending=[True, True])
    .reset_index(drop=True)
)

   Variable  Class  Probability
0     grade    PSA        0.250
1     grade    QSA        0.125
2     grade    SSA        0.125
3     grade    STA        0.500
4  sub_code  CSE01        0.375
5  sub_code  CSE02        0.125
6  sub_code  CSE03        0.125
7  sub_code  CSE04        0.125
8  sub_code  CSE05        0.125
9  sub_code  CSE06        0.125