用于图像分类的图神经网络的实现

问题描述 投票：0回答：1

我正在开展一个项目，我想利用图神经网络（GNN）来执行图像分类任务。然而，我在理解如何实现专门用于分类目的的 GNN 方面遇到了困难。

我已经探索了用于图像分类的卷积神经网络 (CNN)，但我相信 GNN 可以通过将像素之间的关系捕获为图形结构来提供有价值的见解。如果有人能指导我如何有效地使用 GNN 进行图像分类，我将不胜感激。

具体来说，我想了解以下几个方面：

  • 如何将图像表示为基于 GNN 的分类的图形？此上下文中的节点、边和特征应该是什么？
  • 有哪些推荐的已成功应用于图像分类任务的 GNN 架构或模型？
  • 是否有任何代码示例、教程或库可以帮助我实现 GNN 进行图像分类？
python graph deep-learning pytorch neural-network
1个回答
0
投票

快速的 Google Scholar 搜索显示，您的许多问题都是当前的研究主题，因此您可能应该阅读 [1]，其中引用了 GNN 在图像处理中的多种应用，以及关于 GNN 如何只是一般表述的开创性工作 [2]大多数（如果不是全部）神经网络。

但是，我主要回答这个问题是因为在我看来，GNN（可能）不太适合图像处理。这是因为 Transformer 近年来在图像处理领域变得非常流行，并且 Transformer 是一种非常高效的全连接 GNN 形式。 （请参阅此博文：https://thegradient.pub/transformers-are-graph-neural-networks/）真正超越带有 GNN 的 Transformer 的唯一方法是制定不完全连接的边，但在图像，很难想出一个不需要所有节点之间连接的方案。

简而言之，我对你们所有问题的回答是：Transformers 是 GNN。

[1] 吴宗翰，等。 “图神经网络的综合调查。” IEEE 神经网络和学习系统交易 32.1 (2020): 4-24.

[2] Battaglia，Peter W.，等人。 “关系归纳偏差、深度学习和图网络。” arXiv 预印本 arXiv:1806.01261 (2018).

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.