作者|熊先生编辑|近年来，图形神经网络掀起了将深度学习方法应用于图形数据分析的热潮。但是，作为一种古老的认识世界的方法论，人们对图形数据表示技术的研究很早就开始了。
图形表示学习远不止是图形神经网络的一种方法。
本文是对伦敦帝国理工学院图形表示学习的总结。详细介绍了图核、卷积、图神经网络、图嵌入和概率模型五种图表示学习方法的起源和发展，总结和探讨了图数据表示学习方法的最新进展和未来发展方向。
原地址：https://arxiv.org/abs/1906.02989
1导言
以图表的形式构造数据，可以帮助我们研究如何系统地发现复杂的关系和模式。例如，互联网图显示了给定网页之间高频链接的复杂结构；在自然语言处理领域，人们有时会用树的形式来表示文本，理解单词之间的联系，进而推断句子的意思。
然而，机器学习领域的研究主要集中在向量表示上，而现实世界中的数据并不能简单地表示为向量。现实世界场景中复杂图结构的例子包括：生物网络、计算机网络、传感器网络、社交网络、论文引用网络、电力网络和交通网络。通过使用基于图的表示，我们可以捕获结构化数据的顺序、拓扑、集合和其他关系特征。
神经网络是一种通用的函数逼近器。近年来的研究进展表明，深度学习模型在语音识别、目标识别与检测、自然语言处理等领域取得了巨大成功。此外，大数据集、先进的计算能力、机器学习方法领域蓬勃发展的新研究等因素也极大地推动了深度学习研究。
需要指出的是，对于机器学习来说，神经网络方法和非神经网络方法的主要区别在于学习数据的表示。在机器学习术语中，我们将使用“特征”一词，而在表征学习术语中，我们关注的是学习数据的最佳表征，这有助于下游的机器学习任务。
学习“图表示”背后的思想是学习一种映射，将顶点、子图或整个图嵌入到低维向量空间的点中。然后，我们优化这些映射，使它们反映嵌入空间的几何结构，并且学习到的嵌入可以用作机器学习任务的矢量化输入。
应该注意的是，本文讨论了一些使用基于图的表示的流行数据域，包括生物数据、化学数据、web数据、文本数据、关系数据、社交媒体数据等。
2图形理论1、相关概念
这里，我们介绍图论的术语，它为下面涉及图数据的讨论提供了相关背景。图是有序对(V，E)。顶点V满足n| V |，表示图的阶。在对应的边集E(G)中，e_ij表示顶点I和j之间的边，我们用符号V(G)和E(G)表示图G的点集和边集。
图的类型：本文主要考虑简单图。简单图的顶点仅由一条边连接。本文还将讨论“无向图、有向图和加权图”:在一个无向图中，每条边被刻画为一个不需要配对{v，w}的无向图；在有向图中，边被表征为有序对；在加权图中，权重函数w:fR给每条边一个权重。
如果所有的顶点对之间都有路，那么这个图就是连通图。如果一个图中的所有顶点都有相同的度数，那么我们就有一个正则图。如果每对顶点之间都有一条边，那么这个图就是完全图。
度数、漂移、圆、路径、距离、高度、深度：
U的顶点的“度”用deg(u)表示，表示与U相连的边数。
“游走”是相邻顶点及其对应边交替排列的序列，游走的长度由包含的边数决定。有时，我们将长度为k的一步中的顶点表示为序列V _ 0，V _ 1，V _ K。
如果v_0=v_k(即起点和终点相同)，则行走是一个“环”。
“路径”是指每个顶点最多出现一次的行走。
两个顶点时间之间的“距离”表示为“dist(u，v)”，定义为两点之间最短路径的长度。
顶点的“高度”表示节点和每个叶节点之间从上到下的最长路径上的边数。
顶点的“深度”是从该节点到树根节点的路径上的边数。
子图：如果G_1是G的子图，它的点集和边集是G的点集和边集的子集。“团”图的完全子图。一个“环”也是一个连通的子图，其中每个顶点恰好有两个邻居。没有环的图叫做“森林”。相连的森林称为树。子树是一个非循环的子图，子树是一个连通的子树。对于给定的顶点V，其相邻节点的集合表示为N _ V。
图同构：设G=(V，E)和G=(V，E)是两个图。如果有一个双射函数f:VV’’,使得对任意u，v V，我们有f(u)和f(v)在g中相邻当且仅当u和V在g’中相邻，那么g和g’同构。
解决图同构问题与机器学习密切相关，机器学习为发现数据点之间的相似性提供了一种方法。然而，图同构是一个具有挑战性的问题。目前还没有多项式时间中的算法可以解决图同构。
早期解决图匹配问题的算法提出使用图编辑距离和拓扑描述符。使用图形编辑距离包括计算将图形G1转换为G2的关键操作，从而提供成本分配的灵活性。但是，这种方法存在为不同操作选择最优代价函数以及子图同构的中间步骤的问题。还有一个问题是，通过使用将每个图映射到特征向量的拓扑描述符，在变换步骤中丢失了拓扑信息。一种实用的替代方法是使用可以用多项式计算的图形成的子结构时间，通常称为“结构袋”法。
2.图的矩阵表示1)矩阵的类型
我们需要使用矩阵形式的输入表示来生成特征。这些矩阵包括邻接矩阵、度矩阵和拉普拉斯矩阵。邻接矩阵A以如下方式将图的整个拓扑封装在n*n矩阵中。
度矩阵D_ii是对角矩阵，其中d_i是顶点I的度。
对于加权图，归一化拉普拉斯矩阵L看起来像：
归一化拉普拉斯矩阵L的谱分解定义如下：L是对称半正定矩阵，可以写成。
其中对角矩阵
它的元素是有序L的特征值；但是
是由连续的特征向量组成的矩阵。图的谱研究邻接矩阵的特征值。2)矩阵之间的关系。邻接矩阵的规范化形式是。图的拉普拉斯矩阵也可以用度矩阵和邻接矩阵通过公式L=D-A来计算。然后可以写出归一化的拉普拉斯矩阵。
，进一步得到。三
图表数据的用例
图的常见用例包括图比较、图分类、图聚类、链接预测、图压缩和图可视化。
图比较：图比较任务旨在通过映射S: G G 传统的图比较算法分为基于集合、基于子图和基于核的算法。
图的分类：图的分类问题可以分为两类：一类是顶点分类问题，一类是全图分类问题。在全图分类问题中，给出一个由图组成的数据集D，其中每个图
可以描述为
图分类的目标是学习模型f: D Y并将图分类到一个或多个类别中。通常，每个图都有一个对应的类别标签Y={1.y}。预测：过去我们不知道哪些环节缺失了，哪些环节未来会形成。从宏观上来说，链路预测的任务旨在预测随着现有成员形成新链路和断开连接，网络结构将如何演变。例如，在“蛋白质-蛋白质”相互作用网络中，链接预测可以确定蛋白质之间的新相互作用。给定一个网络图
链接预测任务可以定义如下：假设u是一个一般集合，它包含|V|(|V|-1)/2个可能的链接，其中|V|表示集合中元素的个数。因此，链接预测任务的目的是设置
在中寻找链接。数据集被随机分为两部分：
(训练集)和
(测试集)。“网络增长预测”问题被认为是链路预测问题的延伸。在社交网络分析领域，链接预测用于预测用户对形成新朋友的偏好，从而导致用户社交网络的增长。
图聚类：在图聚类中，边结构起着重要的作用。图的顶点将被分组到不同的簇中。分组的原则是：簇内边多，簇间边少。有两种主要的图聚类方法：图内聚类和图间聚类。顾名思义，图内聚类法是将一个图内部的顶点分成不同的簇，而图间聚类法是将一系列图分成不同的簇。在生物学领域，图聚类技术已经应用于基因调控网络、代谢网络、神经网络和血液网络。在社交网络中，聚类算法用于社区发现任务。
其他用例：典型的大型图，如网页或社交网络图，包含超过10亿条边，并将快速增长。从可计算性的角度来看，从大图中学习知识是一个很大的挑战。最近，图形压缩和图形可视化为解决这个问题提供了动力。图的压缩表示编码了它的拓扑。构建良好的图形表示是节省存储空间的一种方式。人们已经开发了各种压缩方案来提供各种图形表示。可视化清楚地向我们展示了顶点、社区或子图之间的关系。图形的可视化可以显示一些有趣的特征，让读者从另一个角度研究网络。然而，定制、布局和动态视觉结果的生成仍然需要进一步探索。
4核方法
核是一种应用广泛的算法，可以应用于任何数据结构。在一些表示学习方法中，核方法也被用作构建块。核是特征空间中两个向量的内积，它将学习算法与实例分开。这意味着学习算法仅依赖于实例之间的核值，而不显式地使用原始数据表。
设x为非空集，k: x x x r，其中x表示集合积(笛卡尔积)。如果k(x，y)=k(y，x)，那么核k是对称的；如果x_1，x_nX(n 1)，且由定义的矩阵K是正定的，则K是正定的，则有：
一个函数可以写成：
其中(x)是特征向量。
图的核方法
学习结构化数据字典是20世纪90年代兴起的一种方法。在“结构包”方法中，每个数据点被表示为从给定的图形子结构导出的向量。利用结构袋方法，每类核的特征表示是固定的，每一维对应一类子结构。这种方法将导致生成的核空间的非常高的维数。设G是由图组成的非空集，则k: G G R成为图核，其中 (g)和(G)分别是图的特征向量。
现有的图核方法是R-卷积核的一个例子。R-卷积框架是在分解两个结构化对象后建立在图对上的。论文《离散结构上的演化核》提出了将一个对象分解成原子子结构的思想。每个新分解的关系r将产生一个新的图核。
目前，图核的基本学习方法有两种：定义在图上的学习核和定义在图之间的学习核。Kondor和Lafferty提出了学习图的核(单个图的顶点之间形成的图)的思想。Gartner提出了图间学习核的思想。在本文中，我们主要回顾了三种使用结构化袋方法的核：行走和路径上的核、子树上的核和子图上的核。
1)定义行走和路径上的内核。
随机游走核是Gartner提出的，其基础是基于数据集d中图与图之间的节点序列所形成的游走来统计子结构，为了找到两个图之间的共同游走，这里使用了一个由图G_1和G_2中相同的顶点和边组成的乘积图。其中(p1，p2)是随机行走的开始概率，而(q1，q2)是停止概率。a1，a2是G1和G2的邻接矩阵。直积图G上长度为L的公共步行可以计算如下，其中它是Kronecker积。
两个图之间的随机游走核可以正式定义如下：
其中，是应用于长距离步行的转换因子，它对所有不同长度的公共步行进行加权求和。随机游走核可以定义为一种更简洁的形式：
最短路径核是通过计算数据集d中所有长度为n的最短路径P的对来计算的，给定图G和G的最短路径P和P，在边上合理选择核，对P和P中的边对E_p和E _ P进行加权求和，得到最短路径核。
环模式核是通过统计D中出现的每个图中出现的常见环得到的，其定义如下：
其中(G)是图的特征向量。
2)定义在子树上的核
Ramon和Gartner提出的子树核是通过寻找和比较数据集D中每个图中的公共子树来计算的，根据定义，图G的子树是由G中具有底层树结构的不连通顶点组成的连通子集，寻找数据集D中图之间的公共树邻居结构相当于计算高度为h的相同子树对，这样做的好处是我们得到了封装图的拓扑的图结构的丰富表示。图的子树核是定义在顶点上的子树核的总和：
WL核是一种计算速度很快的子树核。内核使用WL同构测试，该测试由以下步骤迭代组成：(1)确定多重集标号；(2)压缩标签；以及(3)更新多重集标签。这里，H是深度，L是重新更新标签的函数，WL定义如下：
3)定义在子图上的核图核的计算思想是，相似的图往往有相似的子图，这些子图可以用于图的比较。一个连通的大小为k的非同构子图称为graphlet。
，其中
是k. make大小的本原核数
长度为的归一化向量为，其第I个元素为g中的本原核。
出现的频率，
指示子图出现在g中。
次数。
原始核使用所有可能的k阶连通子图的计数向量的点积来计算两个图之间的相似度图。
4)使用结构袋方法的挑战
对角优势：结构包法递归地将结构化目标分解成子结构，但也带来了各种挑战。例如，其中一个挑战是“对角优势”问题，当核矩阵接近单位矩阵时。当不同的子结构被视为不同的特征时，就会出现这个问题，并且随着子结构数量的增加，特征集也会变大。因此，两个给定图包含相似子结构的概率会降低。因此，一个图与自身的相似度要远远高于与训练集中其他图的相似度。
子结构稀疏子结构依赖：子结构稀疏问题是指图之间只有很少的公共子结构。子结构是指一个子图不是独立的，因为它可以在另一个子图中找到，或者可以通过修改其他子图的顶点和边来获得。因此，这些子图所代表的特征自然趋于相似。最后，大部分图核将每个子结构视为一个独立的特征，不仅会增加数据集，还会导致特征收敛。因此，经常出现的子结构，以及那些经常包含低阶子结构的子结构，往往对涌现指数的贡献更大。
5图形表示学习
下面将介绍五种图形表示方法：核方法、体积和方法、图形神经网络方法、图形嵌入方法、概率方法。“图形表示法”是指通过神经网络计算方法学习到的特征，每个学习到的表示法分别对图形的拓扑信息进行编码。
1.核方法
最近的研究进展突出了神经网络和核方法之间的关系。例如，Cho和Saul构造了一种核方法来模拟神经网络，而Marial等人则解释了卷积神经网络与核的关系。这里的核方法的特点是引入神经学习技术，将核方法应用于图形数据。
深度图核：图核与深度学习技术结合的重要方法之一。他们试图解决在子结构之间获得有意义的语义的问题。袋结构方法存在子结构依赖性、子结构稀疏性和对角优势问题。为了缓解这些问题，作者引入了维数为|S| |S|的半正编码矩阵M来编码子结构之间的关系，其中|S|是从训练数据中提取的子结构字典的大小。这项工作是通过设计M来实现的，它考虑了子结构空间的相似性。
m的计算方法是首先计算子结构之间关系的“编辑距离”，然后使用概率自然语言模型学习子结构的潜在表示。核能的定义如下：
神经网络：在论文《从序列和图核导出神经架构》中，作者利用核定义结构化数据(如序列和图)，从而获得神经运算。他们使用内核内积设计了一种新的架构，并将其嵌入到递归神经网络中。这个例子说明了如何将图形内核嵌入到神经模块中。假设考虑了特征向量
的随机行走内核，它可以通过以下方式与神经计算相联系：
其中是元素的点积，
表示图中顶点V周围的邻居，w是重量矩，
和
是激活前后的状态。2.卷积法
CNN架构可以从具有底层时空网格结构的数据中提取表示，使其适用于图像、视频和语音数据。CNN被设计成通过提取输入数据的局部不变属性来提取信号域中的局部特征。
地图学：由于底部的空间几何信息不规则(这类数据称为非欧数据)，很多数据的底图上都有不规则的结构。通常，在时间序列和图像数据中，我们发现的是格子型的底层结构，而在文本数据、传感器数据、网格数据、社交网络数据和基因数据等数据中，我们发现的往往是不规则的底层结构。为了设计图形数据的卷积网络，我们需要使用在不规则图形数据域中有效的类似卷积算子。
下面，我们介绍用于正式定义图汇总操作的相关概念。当我们考虑无向图时，“图信号”是一种函数映射X: V ,它定义在图的节点上，通过向量。
来刻画，其中向量X的第n个元素代表集合v中第n个顶点的信号值，我们可以认为数据是绑定在图的顶点上的，例如一个顶点可能代表“基因-基因”交互网络中的单个基因。对于一个函数F和频率W，典型的傅立叶是F和特征函数。
的内积。
函数f的图傅立叶变换：V R是f在图拉普拉斯特征函数上的拓展。对于半正定拉普拉斯矩阵L，其特征向量的标准正交集是
，非负特征值为
特征值分解可以写成。
，其中
u是傅立叶基。傅立叶变换将时域信号转换成频域信号。并且空间域信号x的傅立叶变换是
，因为U是正交基，那么我们有。卷积是由一个积分定义的，它表示当一个给定的函数G在另一个函数F上进行内积平移时的重叠量。
图上的卷积运算定义如下，其中是元素的内积。
CNN中常用于图像数据的离散卷积是在规则的2D和3D网格数据上定义的，因此不适用于图形数据域。对于不规则的网格状图形，我们需要定义局部卷积核“谱域图形卷积”。谱域卷积利用了卷积是傅立叶域乘法的事实。对于信号X和滤波器g_，谱域卷积可以写成：
在…之中
， R是傅立叶系数向量。1)空间域和谱域方法
对于图形数据，基于卷积的方法主要有两种：空间域方法和谱域方法。
空间域方法的特点是在CNN中使用图形数据环境中顶点的邻居形成的局部感受野。我们构造感受野作为图中距离的直接度量，给定一个顶点作为卷积核的中心，我们在一定的跳数范围内观察顶点。谱域方法的特点是使用基于图的拉普拉斯分解的距离度量。
这两种方法都需要仔细考虑，谱域卷积的创建取决于图形结构。对于空间卷积，需要为图形数据创建一个具有平移不变性的卷积，并针对具体问题解决顶点排序和邻居节点排序的确定问题。CNN的另一个缺点是卷积运算只适用于固定图域的顶点特征，但很多情况下图可能会有噪声，有些图是预先计算好的，不一定能反映成员间的真实关系。
2)空间域方法
空间卷积：在Patchy-SAN (PS)中使用空间卷积方法。这里用来有监督地使用CNN学习图的表示，从而在图像上以类似于经典CNN工作模式的方式创建感受野。对于给定的图G，在区间的顶点序列选择过程中将指定一个顶点序列；在邻居聚集步骤中，确定一些邻居节点来创建感受野。因此，一个节点的感受野是一个邻居感受野。在创建邻居感受野之后，需要实现归一化步骤，该步骤本质上是对顶点进行排序，从而在向量空间中创建向量，以获得用于学习图形表示的图形特征。
扩散卷积神经网络是另一种空间域方法，它使用随机游走来选择空间域中的相似顶点，并使用第I个参数
和转移矩阵
构造卷积的I次方。广义卷积：论文《可卷积神经网络对图结构数据的推广》推广了CNN，使模型能够在不同大小的图上生成卷积。在该方法中，使用空间域方法来选择顶部K的邻居，该方法基于图上基于随机行走的转移矩阵。他们用p导出了它。
，它在步骤k中计算到给定顶点的距离。
到达
平均访问次数。图的顶点处的卷积被表征为张量积(M，N，d) (M，N，p，d)的形式。这个四维张量包含通过以下方式获得的信息
每个选中的特征按前P个邻居，M个观测数据，N个特征排序，节点深度为d。
流形CNN: Motif是一个小的子图模式，表示节点之间特定的连接模式。论文“基于模体的图上卷积神经网络”提出了一种基于模体的CNN。它们定义了一些主题，从而在目标顶点周围创造了一个感受域。在顶点v_i定义了模体的卷积单元后，由这个模体局部连接的所有顶点的特征将根据它们各自的语义角色进行加权。模型CNN使用一种注意机制来整合从各种模型中提取的特征，从而进行半监督学习。
3)谱域方法
在“图上的谱网络和局部连通网络”的工作中，提出了谱网络，并介绍了一种构造连通局部邻图的技术。使用谱域网络的目的是通过图形的傅里叶变换推广卷积网络。在谱域构造卷积的过程中，利用图的拉普拉斯矩阵的谱来推广卷积运算。在MINST数据集的各种变体上测试每个构建的谱卷积。
在论文《图结构数据上的深度卷积网络》中，作者利用谱域图的卷积核构造了上述工作。他们训练了一个卷积层，在给定一个傅立叶矩阵U，插值核K，权值w的情况下进行前向和后向传播，在前向和后向传播的过程中，任务相当于在图上学习谱域的卷积核。在第一种变型中，他们从下采样的MNIST数据中提取坐标，并通过拉普拉斯谱构造卷积。在第二种变型中，MNIST数据被投影到3D球面上。
广义CNN:论文《具有快速局部化谱滤波的图上的对流神经网络》提出了一种通过充分利用谱理论公式将CNN扩展到图数据的方法。在特征提取阶段，作者对图像信号进行了滤波和图像粗化。在图过滤阶段，根据谱公式，在半径为k的球面上严格定义局部过滤器，在图粗化阶段，他们使用了一个快速的图聚类软件Graclus。他们在没有任何特征向量计算的情况下，计算了给定无向图的归一化割和比例关联。当汇集压缩输出时，有必要定义有意义的图邻居。为了达到这个目的，作者设计了一个二叉树来组织顶点，类似于构造一个一维信号。
图卷积网络：论文“使用图卷积网络的半监督分类”提出了用于半监督节点分类的图卷积网络(GCN)。他们使用神经网络模型f(X，A)对图形结构进行编码。该模型使用层之间的传播规则，其中特征X通过在邻接矩阵a上使用流行的WL算法获得。在这种情况下，考虑谱域卷积。其中x是每个顶点的信号，计算这个信号的计算成本是相当大的(特别是在大图中)。
它可以用切比雪夫多项式来近似：
“用图卷积网络建模关系数据”一文提出了图卷积网络(R-GCN)，它是GCN的扩展，可用于链接预测、预测事实和分类实体。该模型由编码器和解码器组成，编码器是生成实体的势表示的R-GCN，解码器是张量分解模型。
以及注意力识别机制(GAT):在论文《超越网格：学习视觉识别的图形表示》中，将二维特征图转化为图形结构，其中节点表示瓦片区域，边获取这些区域之间的关系。通过图形投影、图形卷积和图形重投影的步骤，完成了图形结构的上下文建模和识别。图注意网络使用基于注意的架构来分类图结构数据的节点。当计算每个边的重要性时，它只处理每个关联顶点的特征。之后用模型进行归纳学习，可以推广到以前没见过的图。
3.图形神经网络我们将基于图形的神经网络(GNN)定义为一种连接顺应性。
结构的框架。图形神经网络(GNN):这是提出由图形结构驱动的神经网络架构的第一批方法之一。给定其邻居所包含的信息，每个顶点都附有一个状态向量。
其中每个顶点包含顶点级别的标签信息。GNN的两个主要步骤是：(1)参数化传输方程
指示顶点v的标签
，邻居节点
它们之间的依赖性传达了所学习的顶点表示。(2)本地输出功能
将顶点表示映射到每个图的标签。通过存储每个顶点的状态并在激活时更新状态来构建网络。GNN是以递归的方式学习的，它使用循环关系来获得每个顶点V在欧氏空间中的嵌入。该模型是端到端可微的，它通过最小化二次代价函数来学习参数W。
门控序列神经网络和门控图变换网络：门控序列神经网络(GGSNN)是GNN的变种，可以获得非顺序输出。这种模式的典型例子是：输出逻辑公式。通过使用门控循环单元(GRU)，GGSNN开发了具有固定步数的递归公式。基于时间的反向传播算法(BPTT)用于基于梯度。传播模型类似于GNN，并且根据递归关系更新每个顶点的表示。输出模型是为每个顶点定义的函数，它映射到输出。
在“学习图形状态转换”一文中，提出了用门控图变换神经网络(GGTNN)来解决推理问题。本文集成了大量的图变换操作，如节点添加、节点状态更新、信息发布、信息聚合等。从而解决自动问答和图形重建的任务。Battagalia等人对图神经网络的架构做了大量的研究，讨论了各种设计特征，包括消息传递神经网络、非局部神经网络以及图神经网络的各种变体。
4.图形嵌入方法
将图嵌入到低维空间涉及一系列技术，这些技术将输入图转换成其各自的向量表示，并通过一个集合函数将其映射到空间中的一个点。
各种图形嵌入技术已经被用于可视化、社区发现、无线设备定位、电网路由和其他任务。图嵌入技术侧重于保持邻近性，使得同一邻域内的顶点在欧氏空间中是相邻的。在过去，图嵌入方法已经被成功地用于获得底层图数据的表示。
在ISOMAP中，他们使用一个邻域球将图形数据转换为图形，并使用Dijkstra算法计算顶点之间的测地线距离。另一种方法是多维标度(MDS)。当它应用于测地距离矩阵时，结果是一个重构的流形，通常用于在复杂数据集中定位结构良好的流形。局部嵌入被认为是PCA的一种变体，它使用最近邻方法来降低数据的维数。
论文“图的表示学习：方法和应用”介绍了将自编码器应用于图表示的方法。我们有一对编码器和解码器帧，并得到一对嵌入。
这样，我们在重构框架中使用如下所示的损失函数L:
总体思想是编码器ENC将顶点映射到矢量嵌入，而解码器DEC接受一组嵌入，并根据这些嵌入对用户指定的图形统计进行解码。大多数作者采用的一般工作流设置是找到图上定义的相似性函数，然后学习嵌入成对的编码器-解码器。l是决定性能的损失函数。
将自然语言技术应用于图的节点和边的表示是早期图表示研究领域的主要范式。直观地说，研究人员提出了一个大胆的假设，在一个N维空间(其中每一维代表某种语义)中修改了将单词编码成向量的方法，并以类似的方式学习图的表示，使每个向量编码了图的拓扑信息。
此外，图嵌入方法在基于走查的方法、基于子图的嵌入方法、多模态数据图嵌入、归纳框架等方面的最新进展。包括：DeepWalk、Node2Vec、Grarep、subgrappvec、Visual Genome等。
5.概率方法
学习图形数据表示的概率方法包括各种神经生成模型、基于梯度的优化方法和神经推理技术。潜在变量建模涉及通过相关参数对潜在变量Z和观察变量X之间的关系进行建模。
这里
是共同分配，
是先验分布，
这是一个似然函数。贝叶斯模型中的推理基于后验概率
为了调整和实现。在很多情况下，由于复杂的概率密度函数，计算后验概率并不容易，因此需要近似的推理工具。变量法包括用简单密度函数逼近复杂密度函数的一系列方法，简单密度函数按新的近似后验分布。
代表性。可变自编码器是一种新的变分方法，它利用神经网络的计算范式和反向传播技术来构造一种新的神经生成模型。这个生成的动作发生在数据从势空间到观测空间的映射过程中，这个映射是利用神经网络来完成的。
图1:编码器-解码器潜在变量模型示意图
变分图自动编码器是一种学习图表示的变分自编码方法。它使用GCN作为编码器，使用内积运算作为解码器。模型推断如下：
x是通过WL算法得到的节点特征矩阵，A是邻接矩阵，那么我们有：
这里，和是由GCN(X，A)指定的参数。生成的模型如下所示：
其中()是逻辑函数。这个过程是通过优化下面的变分下限来学习的：
此外，概率方法在分子数据表示、特征空间设计、图形生成等领域取得了一系列进展(详见原文)。
6未来发展方向
在图表示学习领域，一些新的研究集中在先验分布中编码图数据、学习加权图表示、学习序列图表示、学习序列模块表示、解决非欧图域的特定挑战和解决使用有向图的挑战。与此同时，在开发新的概率方法来学习图数据的表示方面，仍有进一步发展的空间。
本文对核方法、卷积方法、图形神经网络方法、图形嵌入方法和概率方法等五种主要方法进行了识别、分类、研究和讨论。表征学习虽然解决了自动利用图像、声音、文本数据信息的问题，但对于图形数据的处理，目前还没有通用的好方法。从业者可以使用这一审查作为路线图，以获得有关最新进展的知识，也作为工具，以指导进一步的实验。
雇用
AI技术评论希望招聘一名技术编辑/记者。
办公地点：北京/深圳
职位：主要参与学术峰会报道和人物访谈。
工作内容：
1.参加各种人工智能学术会议，报道会议内容；
2.采访人工智能领域的学者或R&D人员；
3.关注学术领域的热点事件，及时跟进报道。
要求：
1.热爱人工智能学术研究内容，擅长与学者或企业工程师打交道；
2.有一定的理工科背景，对人工智能技术有了解者优先；
3.英语能力强(工作涉及大量英文资料)；
4.学习能力强，对人工智能前沿技术有一定的了解，有能力逐渐形成自己的观点。
有意者可将简历发送至邮箱：cenfeng@leiphone.com。
