以前写过一篇关于最大熵模型的读书笔记。刚翻陈家鼎和郑忠国两位老师合编的教材《概率与统计》（北大出版社，2007），看到关于信息熵的详细数学表述，不妨转述一下，算是不在场的课堂笔记。

概率与信息

事件A的概率P(A)是A发生可能性的大小的度量。

问题：A的发生带给我们多大的信息呢？

结论

P(A)越大，则A发生带来的信息越少；反之，P(A)越小，则A的发生带来的信息越大。

例子

有人对你说“某日巴西足球队战胜了中国队”，你觉得他没有给你多少信息，因为这件事发生的概率非常大，结果几乎在预料当中。但如果他说巴西负于某个亚洲队，你会感觉得到的信息不少。

猜想

1. 事件A发生所带来的信息量H(A)应该是它发生的概率P(A)的严格减函数，而且A是必然事件时H(A)=0（“巴西队战胜中国队”）。
2. 若事件A与事件B相互独立，则A与B都发生带来的信息量应该是H(A)与H(B)之和，即H(AB)=H(A)+H(B)。

引理1—H(u)=-clnu

设H(u)是(0,1]上的严格减函数，H(1)=0，则为了满足H(uv)=H(u)+H(v)，对一切0<u,v<1,必须且只需存在c>0，使得H(u)=-clnu,写得更清楚些是—c*ln(u)。

（这里c是一个正的常数，它的大小涉及信息量的单位。为简单起见，一般取c=1）

定义1—信息量的表示

设事件A的概率是P(A)，P(A)>0,则称H(A)=-lnP(A)为A带来的信息量。

定义2—完备事件组的熵

设A1到An(n>=2)是条件S下的完备事件组，P(Ai)>0,对i=1，…n，则称P(A1…An)=-sumP(Ai)lnP(Ai)，为完备事件组A1…An的熵。

定理1—事件有相等的概率时结果的不确定性最大

设A1到An(n>=2)是完备事件组，则当且仅当P(A1)=…P(An)时熵最大。

即，若条件S下可能发生的互不相容的事件至少有两个，则当且仅当这些事件有相等的概率时结果的不确定性最大。