GNN → Pre-train + Fine-Tuning → Graph Prompt
GNN太依赖于大量、优质的、任务相关的标签,标签又很难获得;此外,没有多任务泛化性。
Pretrain + Fine-tuninng: 通过自监督任务,来捕捉图上的本质信息。这些本质信息能够在不同下游上都提供一些指导。
然而,这样的问题是 Pretrain和下游任务的优化目标之间有着很大的差距,因此并不能保证得到最优结果。
NLP领域提出了Prompt,即一种自然语言指令,用来提示出任务和语言模型之间的语义关系。”prompt pull the task toward the pre-trained model. “下游任务向上游预训练模型看齐。
GraphPrompt:

a unified template to define the pre-training and downstream tasks;
Link-prediction as pre-training task; node/ graph cls as downstream tasks; all these tasks can be cast as subgraph similarity calculation.
task-specific learnable prompt; readout on subgraphs;不同的下游任务倾向于从不同的readout中受益;因此提出了一种可学习的prompt来指导下游任务选取合适的readout;
Node class Prototypes: (same for graph class prototypes)

对于节点j,它的分类结果由j的contextual subgraph和 prototypes之间的相似度得到。
