互信息

互信息是信息论中一种有用的信息测度，可以看作是一个随机变量所包含的关于另一个随机变量的信息，或者是知道另一个随机变量所减少的不确定性。互信息的定义和交叉熵近似。互信息与多元对数似然比检验和皮尔逊检验密切相关。

互信息是计算语言学模型分析中常用的方法，它度量两个对象之间的相互关系。用于衡量过滤问题中特征对主题的区分程度。互信息的定义和交叉熵近似。

互信息原本是信息论中的一个概念，用来表示信息之间的关系 是两个随机变量之间统计相关性的度量用于特征提取的互信息理论的使用基于以下假设：在某个类别中出现频率高而在其他类别中出现频率低的条目与该类别的互信息更大。

互信息通常被用作特征词和类别之间的度量如果特征词属于这一类，其互信息最大。由于这种方法不需要对特征词和类别之间关系的性质做任何假设，因此非常适合文本分类中特征和类别的配准。

信息是物质、能量、信息及其属性的标记。逆维纳信息定义了信息是确定性的增加。逆香农信息将信息定义为事物现象及其属性标识符的集合。

一般来说，信道中总是存在噪声和干扰信源发出一个消息X，经过信道后，信宿可能只接收到一些干扰造成的变形Y。接收到Y后，信宿推断信源发送x的概率，这个过程可以通过后验概率p来确定(x|y)来描述。因此，源发射x的概率p(x)称为先验概率。我们将X的后验概率与先验概率之比的对数定义为Y与X的互信息（简称互信息）