我们不应该采取交叉验证ň车型的平均线性回归？

Question

我有一个关于线性回归模型交叉验证的问题。

从我的理解，在交叉验证，我们分割数据为（比如说）10倍和9倍，我们用于测试的剩余褶皱训练数据。我们重复这个过程，直到我们测试所有的褶皱，让每一个褶皱测试一次。

当我们从9个褶皱训练模型，难道我们不应该得到一个不同的模式（使用整个数据集时，可能会与我们所创建的模型略有不同）？我知道，我们采取的所有的“N”演出的平均水平。

但是，关于该模型是什么？不应该得到的模型也被视为平均所有的“N”型的？我看到，得到的模型是一样的，我们用整个数据集的交叉验证之前创建的模型。如果我们甚至考虑交叉验证后的整体模型（而不是把所有的车型平均），那么什么是从n个不同的模型计算平均性能（因为它们是从不同的数据褶皱培训，应该是点不同的，对吧？）

我很抱歉，如果我的问题不明确或太搞笑了。感谢您的阅读，但！

Answer 1

答案很简单：你使用（重复）交叉验证（CV）的过程中获得，而不是提高它的一个模型相对稳定的性能估计。

想尝试不同的模型类型和它们不同的非常适合您的问题的参数化。使用CV你获得了每个型号和参数化将在看不见的数据执行多种不同的估计。从你通常选择你将使用一个适合的模型类型+参数化的结果，然后重新训练它所有的（训练）数据。之所以这样做了很多次（不同的分区与重复，每一个使用不同的分区拆分）是获得性能的稳定估计 - 这将使你如看看均值/中位数的性能和其蔓延（将要给大家介绍的很可能如何以及模型通常执行以及如何幸运/不幸的和获得更好/更糟糕的结果，而不是信息）。

两两件事：

• 通常情况下，使用CV将提高最终你的结果 - 仅仅是因为你把一个模式，更适合这份工作。
• 你提到取“平均”的模式。这实际上存在的“模型平均”，在这里你平均多，可能是不同的培训模式的结果，以获得一个结果。它的一个办法用模型的ensemble，而不是单一的一个。而且对于那些要使用CV到底是为了选择合理的模型。

Answer 2

我喜欢你的想法。我想你刚才无意中发现随机森林：https://en.wikipedia.org/wiki/Random_forest

Answer 3

无需反复CV你看似最好的车型很可能当你比分是在新的数据只是一个平庸的模型...