我想使用深度学习技术来执行比隐马尔可夫模型（这是一种浅层模型）更好的推理任务？我想知道替代隐马尔可夫模型（HMM）的最先进的深度学习模型是什么？该设置是半监督的。训练数据 X(t),Y(t) 是一个时间序列，具有显着的时间相关性。此外，还有大量未标记的数据，即只有 X(t) 而没有 Y(t)。在阅读了许多论文后，我缩小了以下模型的范围 -> 有条件限制的玻尔兹曼机（Ilya Sustkever MS 论文），并使用深度置信网络进行无监督预训练（或使用变分自动编码器进行预训练）。我对这个领域非常陌生，想知道这些技术是否已经过时。
我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型（HMM）
目前，基于 RNN（循环神经网络）和 LSTM（长短期记忆）的 DNN 是最先进的。它们是从命名实体识别开始的许多排序问题的最佳选择（https://www.quora.com/What-is-the-current-state-of-the-art-in-Named-Entity-Recognition -NER/answer/Rahul-Vadaga），解析（https://arxiv.org/pdf/1701.00874.pdf）到机器翻译（https://arxiv.org/pdf/1609.08144.pdf）。 这些 DNN 也称为序列模型（例如 seq2seq，其中输入和输出都是像机器翻译一样的序列）
“无监督预训练”
预训练不再那么流行（对于有监督的 ML 问题），因为你现在拥有更多（且更便宜）的 CPU，因此可以使用随机重启和并行化来获得相同的结果。
最近的一篇论文（用于序列标记任务的深度 LSTM 网络的最优超参数 作者：Nils Reimers 和 Iryna Gurevych）对常见 NLP 任务的各种 seq2seq 进行了很好的比较：https://arxiv.org/pdf/1707.06799.pdf
绝对值得一读。