深度学习可以进行因果推理，图模型(GNN)是解决方案之一。清华大学孙茂松教授发表综述论文，全面阐述了GNN及其方法和应用，提出了可以表示各种GNN模型中传播步骤的统一表示。图表中建议参考高清打印的塑料糊。
深度学习最大的弱点是什么？
这个问题的答案因人而异，但有99.9%的几率，图灵奖获得者朱迪亚珀尔会说，不可能进行因果推理。
对于这个问题，业界正在积极探索，其中一个很有前途的方向是图形神经网络，GNN)。
近日，清华大学孙茂松教授发表论文《图形神经网络：arXiv中的方法与应用综述》。作者对现有的GNN模型进行了详细而全面的评述。
"图神经网络是连接主义和符号主义的有机结合，不仅使深度学习模型能够应用于图的非欧结构，还赋予了深度学习模型一定的因果推理能力。"论文的共同第一作者周杰说。
"在深度学习方法的鲁棒性和可解释性受到质疑的今天，图神经网络可能为人工智能的未来发展提供一个可行的方向。"
GNN最近在深度学习领域受到广泛关注。但是，对于希望快速了解这一领域的研究人员来说，他们可能会面临模型复杂、应用众多的问题。
"本文希望为读者提供一个更高层次的视角，快速了解GNN领域不同模式的动因和优势。"周杰告诉新智元：同时，通过对不同应用进行分类，便于不同领域的研究者快速了解将GNN应用于不同领域的文献。"
毫不夸张地说，论文中的图表要高清打印，贴在墙上，供想知道学习GNN乃至因果推理方向的研究者参考。
GNN的各种变体可以通过比较各自的聚合器更新器来轻松区分不同的GNN模型。这只是这篇综述的强大图表的一个例子。
要快速了解GNN，它it’阅读这篇文章是完全正确的。
在内容和模型方面，从原GNN模型的构建方法和存在的问题出发，介绍了经过不同改进的GNN变体，包括如何处理不同类型的图形、如何高效传递信息、如何加快训练过程等。最后介绍了近年来提出的几个通用框架，这些框架总结了许多已有的方法，具有很强的表达能力。
在应用上，本文将GNN的应用领域分为结构化场景、非结构化场景和其他场景，并介绍了物理、化学、图像、文本、图生成模型、组合优化问题等一些经典的GNN应用。
典型应用场景介绍
最后提出了四个开放性问题，包括如何处理堆叠多层GNN引起的平滑问题、如何处理动态图结构、如何用一般方法处理非结构化数据以及如何将其扩展到更大的网络。
作者还整理了一份GNN论文的清单：
https://github.com/thunlp/GNNPapers
原始GNN及其局限性
GNN的概念是由F. Scarelli等人在论文《图形神经网络模型》中首次提出的(F. Scarelli et al. 2009)。在这里，我们描述了最初的GNN，并列举了最初的GNN在表达能力和训练效率方面的局限性。
然后，我们介绍几种不同的GNN变体，它们具有不同的图形类型，并使用不同的传播函数和训练方法。
最后，介绍了三种通用框架，即消息传递神经网络(MPNN)、非局部神经网络(NLNN)和图网络(GN)。MPNN结合了各种图形神经网络和图形卷积网络方法；NLNN结合了几个自我关注方法；图网络GN几乎可以概括本文提到的图神经网络的所有变体。
图形神经网络
如前所述，图神经网络(GNN)的概念是由Scarselli等人在2009年首次提出的。它扩展了现有的神经网络，用于处理以图形表示的数据。在图中，每个节点由其特征和相关节点定义。
尽管实验结果表明GNN是一个强有力的结构化数据建模框架，但原有的GNN仍然存在一些局限性。
首先，对于固定节点，原始GNN迭代更新节点隐藏状态的效率很低。如果放松不动点的假设，我们可以设计一个多层GNN来获得节点及其邻居的稳定表示。
其次，GNN在迭代中使用相同的参数，而大多数流行的神经网络在不同层使用不同的参数，这是一种分层的特征提取方法。此外，更新节点的隐藏状态是一个连续的过程，这可以受益于RNN核心，如GRU和LSTM。
第三，边缘上有一些信息特征可以不要模仿GNN的原作。此外，如何学习边缘的隐藏状态也是一个重要的问题。
最后，如果我们把重点放在节点的表示上而不是图的表示上，就不适合用不动点，因为不动点上的表示分布在数值上是光滑的，区分每个节点的信息量比较小。
图形神经网络的变体
在本节中，我们提出了图形神经网络的几种变体。首先，运行在不同图类型上的变体扩展了原始模型的表示能力。其次，我们列出了在传播步骤中修改的几个变体(卷积、门机制、注意机制和跳过连接)。这些模型可以更好地学习表征。最后，我们描述了使用先进的训练方法，提高训练效率的标题。
图2概述了GNN的不同变体。
GNN不同变体的列表
图形的类型(图形类型)
在原始GNN中，输入图由带有标签信息的节点和无向边组成，这是最简单的图格式。然而，世界上有许多不同的数字。这里，我们将介绍一些不同类型图形的建模方法。
图形类型的变化
有向图(有向图)
图的第一种变体是有向图。无向边可以看作两条有向边，这表明两个节点之间存在关系。然而，有向边比无向边能带来更多的信息。例如，在一个知识图中，边是从头实体开始到尾实体，头实体是尾实体的父类，这表明我们要区别对待父类和子类的信息传播过程。有向图的例子有ADGPM (M. Kampffmeyer等。艾尔。2018).
异构图(异构图)
图的第二种变体是异构图，它有几种类型的节点。处理异构图最简单的方法是将每个节点的类型转换成与原始特征相连的一个热特征向量。异构图，如图关联。
带边信息的图(边信息图)
图形的另一个变体是每条边都有信息，比如边的权重或类型。例如G2S和GCN。
使用不同训练方法的图形变体
培训方法变体
在繁殖步骤中修饰的GNN变体
传播步长变量
GNN的三大框架
除了图形神经网络的不同变体，我们还介绍了几种通用框架，旨在将不同的模型集成到一个框架中。
J.吉尔默等人(J. Gilmer等人。艾尔。2017)提出了消息传递神经网络(MPNN)，统一了各种图神经网络和图卷积网络方法。
X.王等。艾尔。2017)提出了非局部神经网络NLNN)，它结合了几个自我关注风格方法。
页（page的缩写）巴塔格利亚等人(巴塔格利亚等人。艾尔。2018)提出了图网络(graph network，GN)，它统一了MPNN和NLNN方法以及许多其他变体，如交互网络、神经物理引擎、CommNet、structure2vec、GGNN、关系网络、深集和点网。
几个未解决的问题
尽管GNN在不同领域取得了巨大成功，但值得注意的是GNN模式可以不能在任何条件下为任何图形任务提供满意的解决方案。在此，我们将提出一些有待进一步研究的问题。
浅层结构
传统的深度神经网络可以堆叠数百层来获得更好的性能，因为更深的结构有更多的参数，可以显著提高网络的表达能力。然而，GNN总是肤浅的，大多数不超过三层。
实验表明，堆叠多个GCN层会导致过度平滑，即所有顶点都会收敛到相同的值。尽管一些研究者已经设法解决了这个问题，但它仍然是GNN的最大限制。设计一个真正深度的GNN对未来的研究是一个令人兴奋的挑战，并将对进一步了解GNN做出相当大的贡献。
动态图形的另一个挑战性问题是如何处理具有动态结构的图形。静态图总是稳定的，因此对其建模是可行的，而动态图引入了变化的结构。当边和节点出现或消失时，GNN不能自适应地改变。目前，关于动态GNN的研究也在积极进行，我们认为它对于GNN将军的稳定性和适应性是一个重要的里程碑。
非结构化场景
我们讨论了GNN在非结构化场景中的应用，但我们没有找不到从原始数据生成图表的最佳方式。在图像领域，有的研究可以用CNN获取特征图，然后上采样形成超像素作为节点，有的研究可以直接用一些物体检测算法获取物体节点。在文本领域，一些研究使用句法树作为句法图，而另一些研究使用全连接图。因此，关键是找到图形生成的最佳方法，使GNN在更广泛的领域发挥更大的作用。
可扩展性问题
如何将嵌入式算法应用于社交网络或推荐系统等大规模网络环境，是几乎所有图形嵌入算法都面临的致命问题，GNN也不例外。GNN很难扩展，因为它涉及的许多核心流程都消耗大数据环境中的计算能力。
这个难度体现在几个方面：一是图数据不规则，每个节点都有自己的邻域结构，所以可以不能成批处理。其次，当节点和边数以百万计时，计算图的拉普拉斯算子是不可行的。此外，我们需要指出的是，可扩展性决定了算法能否应用于实际场景。目前，一些研究已经提出了解决这一问题的方法，我们正在密切关注这些新进展。
结论
在过去的几年里，GNN已经成为图领域中机器学习任务的一个强大而实用的工具。这种进步有赖于表现力、模型灵活性和训练算法的提升。本文对图神经网络进行了全面的综述。对于GNN模型，我们介绍了根据图形类型、传输类型和训练类型分类的GNN变量。
此外，我们还总结了代表不同GNN变量的几个通用框架。在应用分类方面，我们将GNN应用分为结构化场景、非结构化场景和其他18个场景，然后详细介绍每个场景下的应用。最后，提出了四个有待解决的问题，并指出了图神经网络面临的主要挑战和未来的研究方向，包括模型深度、可扩展性、动态图处理和对非结构化场景的处理能力。
标签：GNN图图形