recurrent-neural-network 相关问题

递归神经网络(RNN)是一类人工神经网络,其中单元之间的连接形成有向循环。

机器学习在恶意软件分类中的使用(CNN、RNN 和图像)

对于一些背景知识,我正在使用 MalImg 和 Microsoft BIG 数据集进行恶意软件分类项目。 问题是: 每个单独的像素都是模型的输入。 该恶意软件非常可怕...

回答 1 投票 0

基于经过训练的 Keras 模型在纯 Numpy 中实现有状态 GRU

我正在尝试在纯 Numpy 中手动编写经过训练的状态 RNN Keras 模型,并使用张量流后端。 我的模型构建为: 模型=顺序() 层数第一阶段 = 64 模型.add(GRU(

回答 2 投票 0

如何在不增加内存的情况下减少神经网络的训练时间?

我想训练 rnn 模型(gru+lstm) 我的训练模型有 500000 个英文文本,我想用这些数据来训练和评估模型。当我检查一个时期的训练时间和批量大小时......

回答 1 投票 0

将特征三角视图映射到特征向量

我目前正在尝试根据其描述实现新版本的储层神经网络(类似于循环神经网络,但仅训练输出层权重)

回答 1 投票 0

理解 LSTM 输出和隐藏状态输出之间的区别

目前正在为我的人工智能助手开发唤醒词模型,我面临着一个困境,即我应该将哪个输出输入到我的线性层中。你能澄清一下区别吗...

回答 1 投票 0

如何定义无监督学习模型循环神经网络的输入大小?

我正在尝试拟合神经网络模型(无监督)。 我只有一个输入 x,它是一个具有 10000 个分量的向量,并且我有一个输出,它也是一个与 x 大小相同的向量。 我已经...

回答 1 投票 0

错误 conda.core.link:_execute(698):安装包“defaults::icu-58.2-ha925a31_3”时发生错误

我使用 anaconda 提示 conda create -n Talkingbot python=3.5 创建环境,然后安装 pip install tensorflow==1.0.0 (遵循与一门 udemy 课程中使用的命令相同的命令),但是当我尝试

回答 2 投票 0

GRUCell PyTorch C++ 中的 SeLU 激活函数实现

实际任务是将第799行的tanh_()替换为gru_cell的new_gate中的SeLU激活函数。以下代码块是来自 PyTorch github 存储库的 RNN.cpp 文件。 模板 实际任务是将第799行的tanh_()替换为gru_cell的new_gate中的SeLU激活函数。以下代码块是来自 PyTorch github 存储库的 RNN.cpp 文件。 template <typename cell_params> struct GRUCell : Cell<Tensor, cell_params> { using hidden_type = Tensor; hidden_type operator()( const Tensor& input, const hidden_type& hidden, const cell_params& params, bool pre_compute_input = false) const override { if (input.is_cuda() || input.is_xpu()) { TORCH_CHECK(!pre_compute_input); auto igates = params.matmul_ih(input); auto hgates = params.matmul_hh(hidden); auto result = at::_thnn_fused_gru_cell( igates, hgates, hidden, params.b_ih(), params.b_hh()); // Slice off the workspace argument (it's needed only for AD). return std::move(std::get<0>(result)); } const auto chunked_igates = pre_compute_input ? input.unsafe_chunk(3, 1) : params.linear_ih(input).unsafe_chunk(3, 1); auto chunked_hgates = params.linear_hh(hidden).unsafe_chunk(3, 1); const auto reset_gate = chunked_hgates[0].add_(chunked_igates[0]).sigmoid_(); const auto input_gate = chunked_hgates[1].add_(chunked_igates[1]).sigmoid_(); **const auto new_gate = chunked_igates[2].add(chunked_hgates[2].mul_(reset_gate)).tanh_();** return (hidden - new_gate).mul_(input_gate).add_(new_gate); } }; new_gate是张量。我们如何实现自定义函数来迭代张量并对其应用 Selu 激活函数?? 在开发模式下从源代码构建 PyTorch 后,我将 tanh_() 替换为 build/aten/src/ATen/ops/selu.h 文件夹中的 selu_(),并且还包含相关的头文件。但在重建时它生成了一个错误“你是说 relu_()”吗。 我还尝试为 selu() 实现自己的函数,但问题在于张量数据类型。 PyTorch 不提供就地版本的 SeLU 激活函数,即 selu_()。就地函数 tanh_() 修改它所调用的张量,而 selu() 返回一个新的张量并保持原始张量不变。 如果要将SeLU激活函数应用于new_gate,只需将tanh_()替换为selu()即可。但是,由于 selu() 不是就地操作,因此您应该将结果分配回 new_gate。 auto new_gate = chunked_igates[2].add(chunked_hgates[2].mul_(reset_gate)); new_gate = new_gate.selu(); 首先计算new_gate,然后使用selu()对其应用SeLU激活函数,并将结果分配回new_gate。 请注意,此更改可能会影响 GRU 单元的性能,因为像 tanh_() 这样的就地操作通常会更快,因为它们避免创建新的张量。但是,由于 PyTorch 没有为 SeLU 提供就地版本,因此此修改是必要的。 关于您尝试实现自定义 SeLU 函数,您需要确保您的函数可以处理 PyTorch 的张量数据类型。这将涉及在函数中使用 PyTorch 的张量运算,这将允许它直接对张量进行运算。但是,除非您有特定原因,否则通常不建议这样做,因为 PyTorch 的内置函数针对性能进行了优化,通常应该是首选。

回答 1 投票 0

为什么我使用 PyTorch RNN 会出现隐藏大小错误

我正在尝试按照下一个字符预测示例(教程、github、colab(运行时〜1分钟))构建一个用于下一个单词预测的RNN。 在示例中,batch_...的输入形状为 (3,14,17)

回答 1 投票 0

使用张量流数据集拟合 RNN 模型

我对使用 TensorFlow 数据集还很陌生,希望获得以下方面的帮助。假设我有一个矩阵,其中每一行都是一个观察值,我想使用窗口函数来

回答 1 投票 0

如何在 Keras 2.10.0 中加载已保存的 Liquid 时间序列模型?

我在尝试加载模型时陷入困境。我已经对其进行了两个时期的训练,获得了两个保存的检查点,每个时期之后一个,但我在尝试加载模型时遇到了困难。 这是我遇到的错误...

回答 1 投票 0

我的 LSTM 网络在进行推理时不起作用?

我正在尝试使用 PyTorch 构建 Conv-LSTM 网络,模型非常像图像标题生成器,该模型在训练时可以很好地学习预测单词,但不会预测任何内容

回答 1 投票 0

如何将 Shap 与 LSTM 神经网络结合使用?

我正在与keras合作生成LSTM神经网络模型。我想使用 shap 包查找模型每个特征的 Shapley 值。当然,问题在于模型的 LSTM la...

回答 2 投票 0

最适合时间序列作为输入和具有可变长度输入的输出的神经网络架构

我目前正在学习并致力于使用不同的包 TensorFlow、Pytorch 神经网络来实现时间序列预测。我的目标是提供时间序列数据的组合(GM 数据...

回答 1 投票 0

基于 LSTM 的 RNN 训练中出现错误:DataLoader 迭代期间“IndexError:索引超出范围”

我目前正在使用 PyTorch 训练基于 LSTM 的 RNN,并在训练循环期间遇到错误。我尝试了各种解决方案来解决此问题,但我仍然面临同样的问题...

回答 1 投票 0

Deeplearning4J RNN 训练:预期 RNN 层的 3D 输入异常,得到 2

使用以下代码(使用不同的参数调整了几个小时),我不断收到异常 java.lang.IllegalStateException:预期 RNN 层的 3D 输入,得到 2 我正在努力做什么

回答 1 投票 0

序列上的 LSTM 自动编码器 - 什么损失函数?

我正在尝试在文本序列(网络文章标题)上构建 LSTM 自动编码器,主要是通过重现 https://blog.keras.io/building-autoencoders-in-keras.h 中提到的基本示例。 ..

回答 2 投票 0

自定义 GRU 实现执行速度非常慢

我正在努力定制 GRU 层以满足我的特定要求。为了实现这一目标,我正在按照...中 GRU 层的架构和实现来实现自定义 GRU 层。

回答 0 投票 0

回声状态网络不能正确地逼近函数

使用回声状态网络来近似函数不能正确收敛。权重最初似乎提高了近似的性能,但损失在到达

回答 0 投票 0

在 Keras 中使用 LSTM 深度学习模型增强时间序列预测评估 - 提供代码

我对深度学习比较陌生,我目前正在从事一个需要预测价值的项目。为了训练自己,我决定使用温度数据集。但是,我面临一些

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.