Asymptotic Equipartition Property，漸近均分性。

想象一下來自同一來源的一長串信息，就像一條符號構成的河流，日復一日地從我們身邊流過。

如果你觀察足夠長的時間，就會發生神奇的事情：這條河流開始呈現出某些典型的模式，並非所有序列出現的概率都相同，但幾乎所有的概率都匯聚到一個集合中，在這個集合中，每個序列的信息含量都驚人地相似。

事實上，每個典型序列的概率都接近於$ 2^{-n H} $，其中 H 是源的熵。因此，當 n 增大時，典型序列的數量大約為 $ 2^{nH} $，並且它們幾乎等概率。

因此得名：漸近的，對於較大的 n ；概率均分的，它們共享幾乎相等的概率。

取一個長度為 n 的序列，例如 n=10：正反正正正反正反反正。

計數：正面 = 6，反面 = 4。

經驗分佈 = $ \hat{p}(H) = 6/10, \ \hat{p}(T) = 4/10 $。

因此，即使真實分佈是 (1/2, 1/2)，實際序列的比例也可能略有不同。

對於較大的 n，大數定律表明：經驗分佈 $ \hat{p} $ 將以很高的概率接近真實值 p 。“接近”意味着，對於任何很小的 $ \varepsilon > 0 $，有：

$ |\hat{p}(H) - 1/2| < \varepsilon $

當 $ n \to \infty $ 時，概率趨近於 1。因此，$ \hat{p}(H) $ 介於 $ 0.5-\varepsilon $ 和 $ 0.5+\varepsilon $ 之間的序列被稱為典型序列，對於該 $ \varepsilon $。

為什麼不要求正好 n/2 個正面朝上？因為要求正好 n/2 個正面朝上過於嚴格，它會排除那些只有輕微偏差的序列，例如 1000 次拋硬幣中出現 499 次正面朝上，即使它們在實際應用中仍然屬於正常範圍。

而且，對於較大的 n 值，正好 n/2 個正面朝上的概率非常小。但是，如果我們允許一個較小的容差 ε，那麼對於較大的 n 值，屬於這個更寬泛集合的總概率幾乎為 1。這個更寬泛的集合 = 典型集合 $ \varepsilon^n $。

典型集合的大小為多少呢？

恰好有 k 個正面的序列數 = $ \binom{n}{k} $。

對於 k = n/2 （恰好），大小為 $ \approx \frac{2^n}{\sqrt{\pi n/2}} $（斯特林分佈）。

對於 k 在 $ n(1/2 \pm \varepsilon) $ 範圍內的情況，我們對該範圍內的 $ \binom{n}{k} $ 求和。

一個已知的事實（二項式集中性）：幾乎所有 2^n 個序列的 k 都接近 n/2 。事實上，該範圍內的數值約為 $ \approx 2^{n H(1/2)} = 2^n $（忽略多項式因子）。

因此，對於任何出現 k 次正面的特定序列，

概率 = $ (1/2)^k (1/2)^{n-k} = (1/2)^n = 2^{-n} $。

因此，在典型的集合中：每個序列的概率為 $ 2^{-n} $。序列的數量 ≈ 2^n 。

總概率 ≈ $ 2^n \cdot 2^{-n} = 1 $。

因此，概率均分：每個典型序列的概率都大致相同，約為 $ \approx 2^{-n H} $，其中 H=1 。