presentation PPT:

In-Context Learning Over Graphs.pptx

0. Graph Abstract

截屏2023-06-28 上午10.05.58.png

1. Main Idea

in-context learning: 在少量提示下,无需更新参数就可以很好地泛化到各种下游任务上。【ChatGPT】

挑战:

  1. 如何把不同任务统一为一个形式 ;【LLM: 统一为生成任务】
  2. 如何设计模型和优化目标实现in-context learning;

已有的graph-pre-train【GCL, GCC等】需要在下游任务上微调;图上的meta-learning则不能实现跨图的泛化;而in-context learning的目标则是:**无需微调、**跨图、跨任务泛化

2. Details

2.1 统一任务形式via Prompt Graph

Prompt Graph = Data Graphs+ Task Graph;

Data Graphs: S set 【k-hop subgraphs containing each example input pairs】 +. Q set 【k-hop subgraphs containing query input pairs】

目的:尽可能地利用每个样本在原图中的信息

Task Graph: data-node【embs of the k-hop subgraphs after GNN】 + label-node【just for information flow between S and Q via label】;