1. 现有GNNs挑战

1. 鲁棒性低【不健壮，遇到异常数据效果降低严重】；
2. 大量未标注的数据
3. 没有好用的工具

2. 半监督学习

层数增加后，GCN会产生overfitting问题，原因有二

1. 一次传播+一次非线性激活， 两者深度耦合，引入了多余的参数；【SGC的解决方法是舍去中间多余的非线性层；只保留最高阶的A^K】
2. 仅利用了带有标签的监督信息，没有利用大量的无标签节点的信息

Solution：

GRAND

混合阶的adj 的系数为什么要平均？短程关系和长程关系的权重是否应该不同呢？How about make it adaptive??

Consistency regularization is one of the most widely-used techniques for semi-supervised learning (SSL). Generally, the aim is to train a model that is invariant to various data augmentations.

Consistency Regularization 的主要思想是：输入或者模型即使受到微小干扰，其预测都应该是一致的。

Consistency Regularization

GRAND的两个关键：