本篇是針對經典教材《機器學習》及DataWhale小組出版的配套工具書《機器學習公式詳解》的學習筆記，主要以查缺補漏為主，因此對於一些自己已經熟悉的概念和內容不再進行整理。由於水平實在有限，不免產生謬誤，歡迎讀者多多批評指正。
本篇是針對經典教材《機器學習》及DataWhale小組出版的配套工具書《機器學習公式詳解》的學習筆記，主要以查缺補漏為主，因此對於一些自己已經熟悉的概念和內容不再進行整理。由於水平實在有限，不免產生謬誤，歡迎讀者多多批評指正。
第三章 線性模型
基本概念
線性模型向量形式：
其中\(\textbf{w}=(w_1;w_2;...;w_d)\)。
許多非線性模型可以在線性模型的基礎上通過引入層級結構或高維映射而得。
線性迴歸中的“最小二乘法”就是試圖通過確定w和b來構造一條直線，使所有樣本到直線上的歐式距離之和\(E(w,b)=\sum_{i=1}^{m}(y_i-wx_i-b)^2\)最小（等同於使均方誤差最小化）。我們將\(E(w,b)\)分別對w和b求導並使之為零可以得到二者最優解的閉式解，對於單變量線性迴歸，其閉式解為：
對於多元線性迴歸模型，情況要複雜一些。我們首先將數據集表示為一個矩陣\(\textbf{X}\)，對應標籤為\(\textbf{y}=(y_1;y_2;...;y_m)\)：
參考資料：
- 《機器學習》 周志華 著
- 《機器學習公式詳解》 謝文睿 秦州 著
- 《機器學習公式詳解》（南瓜書）與西瓜書公式推導直播合集
本文章為轉載內容，我們尊重原作者對文章享有的著作權。如有內容錯誤或侵權問題，歡迎原作者聯繫我們進行內容更正或刪除文章。