为什么线性回归称为“线性”? [关闭]

问题描述 投票:2回答:4

只是一个愚蠢的怀疑,为什么它被称为'线性'。是因为回归中使用的多项式函数的程度还是因为我们有1个输出来预测,或者是其他原因。我是ML的初学者。搜索谷歌无法找到答案。

machine-learning linear-regression
4个回答
17
投票

线性回归称为线性回归,因为您将输出变量(我们称之为f(x))建模为输入和权重的线性组合(分别称为xw)。亦即

f(x) = < w, x > + b = SUM w_i x_i + b

从严格的数学角度来看,这些模型应该称为仿射模型,因为存在偏差(b项,不应该出现在线性变换中),但由于历史原因,我们使用线性名称代替。

您可以在数据的非线性变换之上考虑线性回归,但这只是一个语义技巧,因为有效的是变换数据的线性回归,而不是数据本身(就数据而言,拟合回归不是线性的) 。从数学的角度来看,保持线性是很重要的。无论你优化什么,所以就w而言。所以,如果你考虑

f(x) = <w, g(x)> + b 

你仍然可以称之为线性回归(因为它是w的线性回归),但它不再是应用于x的线性回归,而是应用于g(x)


3
投票

引用this回答我认为这是关于参数theta。尽管Linear Regression上的wiki链接以下面的语句开头:

给定n个统计单位的数据集,线性回归模型假设因变量yi和回归量xi的p向量之间的关系是线性的。

但经过几行后他们提到:

有时,其中一个回归量可能是另一个回归量或数据的非线性函数,如多项式回归和分段回归。只要模型在参数矢量β中是线性的,模型就保持线性。

所以我猜线性不是x而是参数。


1
投票

绝对。线性回归称为“线性回归”,不是因为x或因变量相对于y或自变量是线性的,而是因为参数或thetas是。我们当然可以有一个立方或平方根或二次函数,但它仍然被称为“线性”,因为它们是如此。


-2
投票

线性回归中的“线性”指的是我们使用一条线来拟合我们的数据。期。

© www.soinside.com 2019 - 2024. All rights reserved.