微调和少镜头学习有什么区别？

Question

我正在尝试理解

fine-tuning

和

few-shot

学习的概念。

我理解微调的必要性。它本质上是将预先训练的模型调整为特定的下游任务。然而，最近我看到了大量的博客文章声称零样本学习、单样本学习和少样本学习。

• 它们与微调有何不同？在我看来，小样本学习是微调的专业化。我在这里缺少什么？

有人可以帮助我吗？

Answer 1

微调 - 当您已经拥有一个经过训练的模型来执行您想要的任务但在不同的数据集上时，您可以使用预先训练的权重进行初始化，并在目标（通常较小）数据集（通常具有较小的学习率）上对其进行训练。

少量样本学习 - 当您想使用很少的样本来训练任何任务的模型时。例如，您有一个在不同但相关的任务上训练的模型，并且您（可选）修改它并使用少量示例训练目标任务。

例如：

微调 - 训练意图分类模型，然后在不同的数据集上对其进行微调。

少量学习 - 在大型文本数据集上训练语言模型并修改它（通常是最后（少数）层），以通过在小型标记数据集上进行训练来对意图进行分类。

可以有更多方法来进行少量投篮学习。再举一个例子，训练一个模型来对图像进行分类，其中某些类的训练样本数量非常少（或 0 表示零镜头，1 表示单镜头）。由此推断，正确分类这些稀有类别（训练中很少见）就成为少样本学习的目标。

Answer 2

我想在这里补充几点。微调和一次性、少量学习都是执行迁移学习的技术。迁移学习正在利用在特定任务上训练的模型来执行其他任务。

1. 在微调神经网络的情况下，可能需要更新所有层的权重，但在一次性、少数几次的情况下，可能仅更新最顶层。
2. 微调主要用于数据丰富的情况，而当您没有足够的数据来解决要分类的问题时，零样本、一次样本和少量样本等技术是非常有用的工具。

简而言之，迁移学习是利用一项任务的知识来提高另一项相关任务的绩效的总体概念。微调、一次性学习和少量学习是迁移学习中用于实现这一目标的特定技术，每种技术都有自己的方法来利用源任务或有限标记数据中的预先存在的知识来提高性能目标任务。