Statsmodels OLS 回归：对数似然、用途和解释

Question

我正在使用 python 的 statsmodels 包进行线性回归。在

R^2

、

p

等的输出中也存在“对数似然”。在文档中，这被描述为“拟合模型的似然函数的值”。我看了一下源代码，但不太明白它在做什么。

阅读更多有关似然函数的内容，我对这个“对数似然”值的含义或用途仍然有非常模糊的想法。所以有几个问题：

• 在线性回归的情况下，似然函数的值不是与参数的值相同（在本例中为

  beta

  ）吗？根据以下推导得出方程 12，似乎是这样： http://www.le.ac.uk/users/dsgp1/COURSES/MATHSTAT/13mlreg.pdf

• 知道似然函数的值有什么用？是为了与具有相同响应和不同预测变量的其他回归模型进行比较吗？实用的统计学家和科学家如何使用统计模型吐出的对数似然值？

Answer 1

似然（以及扩展的对数似然）是统计学中最重要的概念之一。它用于一切。

对于第一点，似然度与参数值不同。可能性是给定一组参数估计的整个模型的可能性。它的计算方法是采用一组参数估计值，计算每个参数的概率密度，然后将所有观测值的概率密度相乘（这源自概率论，即 P(A 和 B) = P(A)P( B）如果A和B是独立的）。在实践中，这对于线性回归意味着什么以及推导所显示的是，您采用一组参数估计值（beta，sd），将它们插入正常的 pdf 中，然后计算该组中每个观测值 y 的密度。参数估计。然后，将它们全部相乘。通常，我们选择使用对数似然，因为它更容易计算，因为我们可以求和 (log(a*b) = log(a) + log(b))，而不是乘法，这样计算速度更快。此外，我们倾向于最小化负对数似然（而不是最大化正对数似然），因为优化器有时在最小化方面比在最大化方面效果更好。

为了回答你的第二点，对数似然几乎用于所有事情。这是我们用来查找大量模型的参数估计（最大似然估计）的基本量。对于简单的线性回归，这些估计结果与最小二乘法的估计值相同，但对于更复杂的模型，最小二乘法可能不起作用。它还用于计算 AIC，AIC 可用于比较具有相同响应和不同预测变量的模型（但会惩罚参数数量，因为参数越多 = 拟合效果越好）。