CathyBryant -
信息論（13）：漸進均分性AEP與典型集
Asymptotic Equipartition Property，漸近均分性。
想象一下來自同一來源的一長串信息，就像一條符號構成的河流，日復一日地從我們身邊流過。
如果你觀察足夠長的時間，就會發生神奇的事情：這條河流開始呈現出某些典型的模式，並非所有序列出現的概率都相同，但幾乎所有的概率都匯聚到一個集合中，在這個集合中，每個序列的信息含量都驚人地相似。
事實上，每個典型序列的概率都接近於$ 2
AI
CathyBryant -
信息論（12）：Jensen不等式
Jensen不等式：如果 f 是一個凸函數，X 是一個隨機變量，那麼：
$ f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] $
它的含義是，對於凸函數 f 而言：平均值的函數 ≤ 函數的平均值，如果 f 是凹函數，則不等式取反。
想象一下，函數 f 的形狀就像一個碗，例如 f(x) = x²，中間向下，兩端向上翹起。
在碗中任意選取兩點，比如 x₁ 和 x₂。連接 f
AI
