了解自动编码器损失

Question

我试图理解自动编码器的损失，但我对此感到相当困惑。在有关自动编码器的 wiki 文章中，损失定义为 ，其中 是参考概率分布。

我试图理解以下内容：

1. 在这种情况下参考概率分布意味着什么？
2. 符号 E_{x~μ_{ref}} 是什么，特别是 E 项表示什么？
3. 这个损失函数与概率分布误差最小化的变分自动编码器的损失有何不同？

提前谢谢您

Answer 1

自动编码器经过数据压缩训练。损失函数衡量编码器-解码器过程在重建压缩输入方面的成功程度。其衡量标准是编码器输入和解码器输出之间的均方误差。

在您的方程中，编码器表示为

E_phi

，解码器表示为

D_theta

。

参考概率分布在这种情况下意味着什么

这样想，如果输入没有概率分布，那么它只是噪声。概率分布表明数据存在某种模式。自动编码器的目的是尝试重建模式。