引言（Introduction）

  • 本文提出了一种新的图对比学习框架——GraphCL，专注于图神经网络（GNNs）的无监督预训练。
  • 传统的GNN方法在处理图结构数据时，通常依赖于有监督的标签信息，而获取这些标签代价高昂。为了解决这个问题，作者采用了对比学习，通过最大化同一图的不同增强视图之间的相似性，来学习图的有效表示。

方法（Methodology）

  • 数据增强：作者设计了四种图数据增强方法：节点删除（Node Dropping）、边扰动（Edge Perturbation）、属性遮蔽（Attribute Masking）、子图抽样（Subgraph Sampling）。这些增强方法旨在通过不同视角来生成图数据，从而学习到对扰动具有鲁棒性的图表示。
  • 图对比学习框架（GraphCL）：
    • 两个增强视图通过GNN编码器生成图级表示向量，并通过投影头映射到另一个潜在空间。
    • 使用归一化的温度缩放交叉熵损失（NT-Xent）作为对比损失函数，最大化正样本对之间的相似性，同时最小化负样本对之间的相似性。

实验与结果（Experiments and Results）

  • 作者在多个图分类数据集上验证了GraphCL的性能，并与其他最先进的方法进行了对比：
    • 半监督学习：GraphCL在低标签率下的表现优于传统方法。
    • 无监督表示学习：GraphCL超越了多种图核方法和图表示学习方法。
    • 迁移学习：GraphCL在跨数据集的任务中表现出色，证明了其迁移能力。
    • 对抗鲁棒性：GraphCL在面对对抗攻击时表现出更强的鲁棒性，尤其是在更深层的GNN模型中。

结论（Conclusion）

  • 贡献总结：GraphCL框架通过对比学习和多样化的数据增强方法，实现了无监督预训练的有效性和广泛适用性。实验结果表明，GraphCL在多种任务和数据集上均表现优异，尤其在半监督学习、无监督表示学习、迁移学习以及对抗鲁棒性方面。
  • 未来展望：
    • 探索更多的数据增强方法和自适应策略。
    • 扩展GraphCL的应用场景，如社交网络分析、生物信息学等。
    • 结合其他图表示学习方法，构建更强大的混合模型。

总结

本文提出的GraphCL框架为图神经网络的无监督预训练提供了一个强大的工具，通过创新的对比学习机制和有效的数据增强方法，实现了在多种任务中的领先表现，为未来的研究和应用指明了方向。