1. 先导知识:Graphon【Graph Function】

Untitled

严重的negative transfer;what to pre-train? how to pre-train?

When to pre-train? [W2P]

如果下游的图可以从预训练数据和能够总结预训练数据的生成器上生成,那么此时预训练就是用的;

如果下游的图可以从预训练数据和能够总结预训练数据的生成器上生成,那么此时预训练就是用的;

想看一下不同的domain间可不可以迁移,因此没有考虑属性,只考虑了结构。

直观的generator: 输入空间中找类似的,拟合一个graphon作为一个generator

直观的generator: 输入空间中找类似的,拟合一个graphon作为一个generator

1. 提供已经预训练好的模型的有效使用范围
2. 无需真的进行预训练和微调,只需要预训练图和下游任务的图数据就可以分析预训练策略对下游任务的增益
3. 为下游任务筛选收益最大的预训练数据

  1. 提供已经预训练好的模型的有效使用范围
  2. 无需真的进行预训练和微调,只需要预训练图和下游任务的图数据就可以分析预训练策略对下游任务的增益
  3. 为下游任务筛选收益最大的预训练数据

定义可迁移性为:下游数据被生成器生成的概率

截屏2023-07-14 上午10.15.46.png

减少graphon-basis 的搜索空间:

截屏2023-07-14 上午10.18.11.png

Better with less:

用更少的dataset,实现更好的图预训练效果。