Tensorflow的数据流图和DNN有什么关系？

Question

众所周知，DNN 由许多层组成，这些层由许多神经元组成，对输入的不同部分应用相同的功能。同时，如果我们使用Tensorflow执行DNN任务，我们将得到Tensorflow自动生成的数据流图，我们可以使用Tensorboard将数据流图可视化，如下所示。但该层中没有神经元。所以我想知道 Tensorflow 数据流图和 DNN 之间有什么关系？当DNN层的神经元映射到数据流图时，它是如何表示的？ DNN中的神经元和tensorflow中的节点（代表一个操作）是什么关系？

Answer 1

您必须区分 DNN 的隐喻表示和它的数学描述。经典神经元背后的数学是加权输入+偏差的总和（通常对此结果调用激活函数） 因此，在这种情况下，您有一个输入向量乘以权重向量（包含可训练变量），然后用偏差标量（也可训练）求和

如果您现在考虑一层神经元而不是一层，则权重将成为矩阵，偏差将成为向量。因此，计算前馈层只不过是矩阵乘法和向量之和。

这是您可以在张量流图中看到的操作。 实际上，您可以通过这种方式构建神经网络，而无需使用使用层抽象的所谓高级 API。 （很多人在张量流的早期就这样做过）

张量流为您所做的实际“魔法”是计算并执行此前言过程的导数，以计算权重的更新。