Sub-gaussian:



监督学习中,泛化误差被定义为 期望风险减去经验风险的差的期望;反应的是训练集迁移到测试集上的误差;

由监督学习中的泛化误差启发得到图预训练-微调中的泛化误差:下游任务的损失和预训练的损失的差的期望;注意,由于任务不同、模型不同,两个损失的scale不同,需要有一个超参数来调和;

最终从互信息的角度来降低泛化误差(证明略)
G: original Graph得随机变量;
F: 预训练encoder的随机变量;
$G_{view}$: Graph Contrastive 中的augment;