1. Intro

GNN → Pre-train + Fine-Tuning → Graph Prompt

GNN太依赖于大量、优质的、任务相关的标签,标签又很难获得;此外,没有多任务泛化性。

Pretrain + Fine-tuninng: 通过自监督任务,来捕捉图上的本质信息。这些本质信息能够在不同下游上都提供一些指导。

然而,这样的问题是 Pretrain和下游任务的优化目标之间有着很大的差距,因此并不能保证得到最优结果。

NLP领域提出了Prompt,即一种自然语言指令,用来提示出任务和语言模型之间的语义关系。”prompt pull the task toward the pre-trained model. “下游任务向上游预训练模型看齐。

2. Graph Abstract

GraphPrompt:

截屏2023-07-17 上午9.47.52.png

  1. a unified template to define the pre-training and downstream tasks;

    Link-prediction as pre-training task; node/ graph cls as downstream tasks; all these tasks can be cast as subgraph similarity calculation.

  2. task-specific learnable prompt; readout on subgraphs;不同的下游任务倾向于从不同的readout中受益;因此提出了一种可学习的prompt来指导下游任务选取合适的readout;

3. Methods

Node class Prototypes: (same for graph class prototypes)

Untitled

对于节点j,它的分类结果由j的contextual subgraph和 prototypes之间的相似度得到。

截屏2023-07-17 上午10.25.44.png