1. Deep Walk:

把随机游走的路径作为序列,使用SkipGraml学习节点的表示向量。无监督的、可拓展的、高效的。

Skip Gram 本质上就是一个简单的Softmax回归网络,每个节点的表示矩阵就是输入层到隐层的权重矩阵。详细解说见下帖:

An Intuitive Explanation of DeepWalk

2. Skip-gram:

Word2Vec Tutorial - The Skip-Gram Model · Chris McCormick

input: one-hot wordvect $\in R^{|V|}$,

Linear transformation: $W \in R^{|V|*D}$ Hidden Layer: node represnetation $\in R^{D}$

Layer transformation: $W' \in R^{D*|V|}$

Output: vector of Probablity of next word $P \in R^{|V|}$

World2Vec:skip-gram model

World2Vec:skip-gram model

3. node2vec

node2vec随机游走实现思路

使用了特殊的动态有偏随机游走策略+skip-gram

从一个节点出发,从邻居节点集合中选取下一步的概率相等则称无偏(转移概率同边权无关),不想等则称有偏(转移概率同边权相关);

在整个randomwalk的过程中,转移概率不受转移状态的影响,则称为静态,否则称动态 。