Sub-gaussian:

Untitled

0. Graph Abstract

截屏2023-06-26 下午9.51.11.png

1. Main Idea:

截屏2023-06-26 下午8.36.45.png

2. 从泛化误差的定义入手

监督学习中,泛化误差被定义为 期望风险减去经验风险的差的期望;反应的是训练集迁移到测试集上的误差;

截屏2023-06-26 下午8.38.01.png

由监督学习中的泛化误差启发得到图预训练-微调中的泛化误差:下游任务的损失和预训练的损失的差的期望;注意,由于任务不同、模型不同,两个损失的scale不同,需要有一个超参数来调和;

截屏2023-06-26 下午8.38.45.png

最终从互信息的角度来降低泛化误差(证明略)

G: original Graph得随机变量;

F: 预训练encoder的随机变量;

$G_{view}$: Graph Contrastive 中的augment;