信息论入门教程 - 阮一峰的网络日志

信息被定义成不确定性的相关概念:概率分布越分散,不确定性越高,信息量越大;反之,信息量越小。

随机变量的分布是否分散、信息量的大小、不确定性的大小

熵、互信息、条件熵之间的关系