期望、方差是統計學中的核心概念，廣泛應用於機器學習的模型評估、特徵分析、正則化方法等領域。以下是對它們的系統講解，包括定義、性質、計算方法及實際應用

一、期望（Expectation）

1. 定義

期望是隨機變量在大量實驗中的“平均值”，用於描述其中心趨勢。

  • 離散隨機變量 機器學習——期望與方差_正則化：

機器學習——期望與方差_機器學習_02

  • 連續隨機變量 機器學習——期望與方差_正則化：

機器學習——期望與方差_機器學習_04

其中 機器學習——期望與方差_機器學習_05 是概率密度函數（PDF）。

2. 性質

  1. 線性性：
  • 機器學習——期望與方差_正則化_06（機器學習——期望與方差_方差_07 為常數）。
  • 機器學習——期望與方差_方差_08。
  1. 獨立性：若 機器學習——期望與方差_正則化 和 機器學習——期望與方差_機器學習_10 獨立，則 機器學習——期望與方差_機器學習_11。
  2. 條件期望：機器學習——期望與方差_方差_12（全期望公式）。

3. 示例

  • 伯努利分佈（機器學習——期望與方差_正則化_13）：

機器學習——期望與方差_機器學習_14

  • 正態分佈（機器學習——期望與方差_機器學習_15）：

機器學習——期望與方差_機器學習_16

4. 機器學習中的應用

  • 損失函數優化：如均方誤差（MSE）的期望最小化。
  • 隨機梯度下降（SGD）：通過期望分析收斂性。
  • 貝葉斯估計：後驗分佈的期望作為參數估計。

二、方差（Variance）

1. 定義

方差衡量隨機變量圍繞期望的離散程度：

機器學習——期望與方差_方差_17

  • 離散隨機變量：

機器學習——期望與方差_方差_18

  • 連續隨機變量：

機器學習——期望與方差_方差_19

2. 性質

  1. 非負性：機器學習——期望與方差_機器學習_20。
  2. 縮放性：機器學習——期望與方差_正則化_21。
  3. 獨立性：若 機器學習——期望與方差_正則化 和 機器學習——期望與方差_機器學習_10 獨立，則 機器學習——期望與方差_方差_24。
  4. 標準差：機器學習——期望與方差_正則化_25。

3. 示例

  • 伯努利分佈：

機器學習——期望與方差_機器學習_26

  • 正態分佈：

機器學習——期望與方差_方差_27

4. 機器學習中的應用

  • 模型評估：高方差可能表示過擬合。
  • 正則化：L2正則化通過限制參數方差防止過擬合。
  • 集成學習：Bagging通過降低方差提升泛化能力。