❶ 联邦GNN综述与经典算法介绍
联邦学习和GNN是AI领域的热点。联邦学习允许多方安全合规地联合训练模型,无需泄露原始数据。GNN在处理非欧数据结构时表现优越,不仅考虑节点特征还考虑节点间的连接关系和强度。结合GNN与联邦学习,可充分利用各参与方的数据,安全训练有强劲表现的模型。
联邦GNN是GNN与联邦学习的结合体。这类方法根据图数据分布规则分为四类:inter-graph FL、horizontal intra-graph FL、vertical intra-graph FL和graph-structured FL。它们应用于多种场景,如生物工程、反洗钱等。
联邦GNN算法,如FedGNN,通过中心服务器和客户端协同训练,实现用户隐私保护。客户端在本地进行模型和embedding的优化,然后上传梯度给中心服务器,进行聚合后回传给客户端更新模型。算法中包含隐私保护模块,如伪交互物品采样和LDP保护,确保数据安全。
VFGNN则关注数据孤岛问题,通过多方计算生成初始节点embedding,并在保证隐私的前提下进行本地和全局embedding的生成。此算法确保数据安全的同时,提升模型性能。
联邦GNN领域近年来发展迅速,已有多个开源项目如FedGraphNN,为实际应用提供了支持。研究者提出了多种算法,以解决不同场景下的隐私保护和数据共享问题。
❷ 图神经网络:Graph Neural Networks
图神经网络(Graph Neural Networks, GNNs)是一种用于处理图结构数据的机器学习模型,它能够从节点、边和整个图结构中提取特征,解决图相关的预测问题。本文将从图的构成、图在生活中的应用、图结构数据处理问题类型、图的挑战、GNN的基本概念和结构、消息传递机制、GNN的扩展、全局表示、计算挑战和问题设置等角度进行阐述。
图由节点(Vertex)、边(Edge)和全局上下文(Global)组成。节点可以表示为节点标识或邻居数量,边可以表示为边标识或权重,全局上下文可以表示为节点数量或最长路径。信息存储在图的各个部分,以嵌入的形式进行。
图在生活中的应用广泛,包括但不限于图像、文本、分子、社交网络、学术引用网络等。图像可以表示为节点和相邻关系,文本则构建为有向图,每个词与前一个词相连。
GNNs可以处理图的三个层次的问题:图级任务、节点级任务和边级任务。图级任务涉及整个图的分类,类似于图像分类或句子情感分析。节点级任务关注单个节点的分类,如语义分割或词性分类。边级任务预测节点间的相互关系。
图处理的挑战包括表示图结构、保证算法对节点顺序不变以及处理大规模图。图的结构变化意味着缺乏一致结构,节点顺序的不确定性使得算法需要对顺序不变,而大规模图计算则需要高效的方法。
GNNs通过在图的每个组件上使用多层感知机(MLP)来表示节点、边和全局上下文,以解决图预测任务。最简单的GNN仅更新节点、边和全局上下文的嵌入,而不会利用图的连接性。通过堆叠消息传递层,节点可以引入整个图的信息。
消息传递机制允许节点和边共享信息,通过聚合相邻节点或边的信息并使用更新函数来更新嵌入。这使得GNNs能够感知图的连接性。节点可以利用邻近节点、边和全局上下文的信息进行预测。
为了处理不同的图结构数据,GNNs提供了扩展版本,如通过引入全局表示或使用更复杂的消息传递来增强模型能力。例如,ChebNet通过改进多项式滤波器来扩展GNNs,以在图结构上进行有效的局部和全局信息处理。
现代GNNs,如GCN、GAT、GraphSAGE和GIN,通过不同的聚合和信息传递机制,提供更高效的图特征提取。例如,GCN使用线性聚合邻近节点信息,而GAT则通过注意力机制调整节点间的权重。
本文综述了图神经网络的基本概念、结构、计算挑战和未来研究方向,旨在为读者提供一个全面的视角,了解如何利用GNNs来解决实际问题,以及在图结构数据处理领域的最新进展。