【人工智能】迴歸模型

迴歸是監督學習中的一種問題類型，用於求解從無數個連續數值中選擇答案。學習訓練和使用迴歸模型，可使我們能夠解決這類問題。

線性迴歸模型

使用輸入輸出為線性關係的函數表示模型，且這類模型專門用於解決迴歸問題。

單變量線性迴歸模型

\[f(x)=kx+b \]

• 輸入特徵：\(x\)
• 模型參數：\(k,b\)
• 輸出變量：\(y\)

多元線性迴歸模型

\[f(x_1,x_2,\dots,x_n)=w_1x_1+w_2x_2+\dots+w_nx_n+b=\vec{w}\cdot\vec{x}+b \]

• 輸入特徵：\(x_1,x_2,\dots,x_n\)
• 模型參數：\(w_1,w_2,\dots,w_n,b\)
• 輸出變量：\(y\)

多項式迴歸模型

多項式迴歸模型字如其名，他是通過組合多項式的方式增強模型擬合的準確性。這些多項式和多元線性迴歸模型不同：

1. 首先它們可以是非線性的。
2. 這些多項式通常是利用特徵工程生成的，用於完善原特徵的參數。

也因為這些特徵，通過多項式迴歸模型，可以實現非線性的映射關係。

多項式迴歸模型的示例如下（實際使用中，應根據具體情況自由組合）：

\[f(x)=w_1x+w_2\sqrt{x}+w_3x^2+w_3x^3+\dots+b \]

平方誤差損失函數

一種適用於迴歸模型的損失函數。

\[L= \frac{1}{2}(\hat{y}-y)^2 \]

• 利用平方將差值轉換為與正確答案距離值，距離越遠影響越大。
• 除二是使後續的一些計算公式可以被簡化，但去除後該函數也有效。