迁移学习（Transfer Learning）是指通过利用不同领域或任务中的知识和经验，来提高目标领域或任务的学习效果和泛化性能的机器学习方法。
在迁移学习中，预训练模型是一种常用的技术手段。预训练模型基于大规模数据集，在未知具体任务前，通过学习通用特征表示，将低层次的特征抽象为高层次的语义概念。比如，在自然语言处理中，通过在大规模语料库上进行预训练的方法，可以学到单词、短语、句子等级别表示，这些通用的特征可以用于各种下游的自然语言处理任务，如文本分类、问答系统等。
在图上迁移学习中，预训练模型也得到了广泛应用。例如，基于图卷积网络（GCN）的预训练模型可以学习图结构中的通用表征，并通过微调等方式适应不同的下游任务，如节点分类、链接预测等。通过预训练模型的使用，可以避免从头开始训练模型所需要的大量标注数据，并提高模型的泛化能力和鲁棒性。
测试样本和训练样本的分布不同，而且和任务相关的标签很稀有；首先在大量充足的数据上进行无监督的预训练，让后在 下游的分支任务上进行微调。在NLP和CV上取得了很大成就，然而在图学习上没有什么突破。
pre-train有潜力解决的问题：
在迁移学习中，负迁移（negative transfer）是指在源领域的知识和经验对目标领域的性能产生反向影响的现象。简言之，就是源领域的知识不仅不能帮助目标领域的任务，反而可能会干扰它。
用GNN得预训练来做图级别的属性预测。关键思想是：使用节点级别的预训练+graph-level的预训练。