图神经网络沿关系边聚合邻域信息并更新节点表示
说明图结构、消息传递、邻域聚合和归一化的基本机制,并分析过平滑、采样、异质关系和归纳边界。
图神经网络沿关系边聚合邻域信息并更新节点表示
图神经网络处理的对象由节点、边及其属性组成。节点可以是用户、路口、分子原子或文档,边可以表示交互、连接、键或引用。与规则网格不同,每个节点的邻居数量和排列并不固定,模型需要在不依赖邻居顺序的条件下汇聚关系信息。
消息传递的基本结构
一层消息传递通常包含三步:从邻居及边属性计算消息,把多个消息用求和、均值、最大值或注意力聚合,再将聚合结果与节点原表示合并。多层堆叠后,节点可以接收更远跳数的信息。聚合函数必须对邻居排列保持不变,否则同一张图仅因存储顺序变化就会得到不同结果。
经典 GCN 使用加入自环后的邻接矩阵,并按节点度数进行归一化。该处理让节点同时保留自身信息并吸收邻居表示,也控制高度节点聚合值的尺度。论文中的具体形式是图神经网络家族的一种,不代表所有图任务都应采用相同归一化或卷积。
边并不总是同质的。道路有方向和通行成本,知识图谱有多种关系,交易图包含时间和金额。若把所有边压成无类型邻接,重要语义会丢失。可通过关系特定参数、边网络、时间编码或异质图结构表达差异,但模型复杂度和样本需求也随之增加。
图怎样被构造
图结构往往不是天然给定。空间邻近图需要选择距离、邻居数和障碍条件;相似度图需要选择特征与阈值;业务关系图则依赖事件和身份解析。构图规则直接决定信息能沿哪些路径传播,也决定潜在泄漏路径。
训练、验证和测试节点如果共享边,模型可能通过邻居标签或高度相关特征间接获取评估信息。传导式设置允许训练时看到完整图结构但只看到部分标签;归纳式设置要求对未见节点或新图预测。两种问题不同,报告中必须说明图结构、节点特征和标签在训练时哪些可见。
动态图还要处理时间顺序。使用未来产生的边预测过去状态属于时间泄漏。快照、事件流或时间窗口应按照真实部署时点构造,并保留节点和边的有效时间。删除一条边也可能代表关系终止,而不只是缺失数据。
过平滑、过挤压与深度
随着层数增加,反复邻域平均可能使节点表示越来越相似,这被称为过平滑。另一问题是远处大量信息必须经过有限维度的中间节点,形成过挤压。单纯增加层数并不必然获得更广有效上下文,反而可能降低局部区分能力。
残差连接、归一化、跳层聚合、图重连和位置编码可以缓解部分问题,但需要结合图结构验证。对于异配图,相连节点可能倾向于不同类别,平滑假设本身就不成立。此时应重新考虑消息定义、边符号或高阶结构,而不是只调整网络深度。
高度节点会带来计算和统计偏置。邻居采样可限制每层成本,却引入采样方差,并可能遗漏稀有但关键关系。训练和推理采用不同采样策略时,表示分布也会变化。采样概率、随机种子和扇出参数应作为模型配置保存。
任务、评价与基线
图任务包括节点分类、边预测、图分类和图级回归。边预测的负样本并非天然存在,需要定义哪些未观察边可视为负例。知识图谱中未记录关系可能只是未知;交易图中随机负样本可能与真实候选差异很大。评价协议应匹配实际候选生成过程。
空间相邻节点或同一连通分量高度相关,随机拆分节点会高估迁移能力。若目标是预测新区域、新网络或未来图,应按区域、子图或时间划分。除了总体指标,还应按节点度数、连通分量、关系类型和新旧节点报告表现。
简单基线十分重要。只用节点特征的线性模型、邻居标签比例、矩阵分解或树模型可能已经很强。图网络只有在统一数据划分和调参预算下稳定优于这些基线,才能说明关系结构带来额外价值。消融实验应分别移除边、边属性和节点属性,观察性能来源。
工程与治理边界
大图训练需要处理分区、采样、特征存储和分布式通信。图分区如果切断大量边,会增加跨分区访问;按社区分区可能提高局部性,却改变批次分布。在线推理还要明确新节点如何获得特征和邻居,以及图更新后缓存何时失效。
关系数据可能揭示敏感联系。即使节点属性已去标识,邻接结构也可能支持重新识别。最小化收集、访问控制、边保留期限和删除传播应进入数据治理。模型解释不能只显示高权重邻居,还要检查这些关系是否真实、是否在预测时合法可用。
图神经网络将结构关系纳入表示学习,但边只表示模型输入中的关联。邻接、消息权重和预测相关性都不能自动证明因果影响。
图更新后的再验证
生产图会持续新增节点和边,度分布、连通分量和关系类型可能改变。模型更新前后应固定一组历史子图,同时建立只包含新节点、新边和新区域的测试集。若新增高连接节点显著改变大量邻居表示,缓存失效和批量重算也要进入发布计划。删除节点时,还应确认其特征、边和派生嵌入都按治理要求清理。
资料依据
- Kipf、Welling:Semi-Supervised Classification with Graph Convolutional Networks,https://arxiv.org/abs/1609.02907
- Goodfellow、Bengio、Courville:Deep Learning,https://www.deeplearningbook.org/