1. Motivation

之前的SSL on GNN 只是遵从了某一种原则，如：

  1. Generative Reconstruction：图生成的选择，如GraphMAE

  2. InfoMAX: 最大化互信息； 大多数对比学习的选择，如GraphCL

  3. Whiting Decorelation;

    Whitening Transformation

2. Method

PARETO-GNN:

Untitled

截屏2023-07-26 下午4.28.36.png

Not 👆；这样没办法协调$\mathcal{\theta_k}$

截屏2023-07-26 下午4.34.29.png

Pareto Optimization:

Pareto最优：如果在pareto最优解的基础上单独优化某个下游任务的$\theta_k，$一定会有其他的下游任务受损；因此Pareto最优是一种协调的最优状态；

Multiple Gradient Descent Algorithm