此分類用於記錄吳恩達深度學習課程的學習筆記。
課程相關信息鏈接如下:
- 原課程視頻鏈接:[雙語字幕]吳恩達深度學習deeplearning.ai
- github課程資料,含課件與筆記:吳恩達深度學習教學資料
- 課程配套練習(中英)與答案:吳恩達深度學習課後習題與答案
本篇為第三課的第一週內容,1.8到1.12的內容,也是本週的最後一篇內容,另外,因為內容並不涉及新技術,理論習題也只是對本週所提經驗的應用,所以本週沒有課後部分。
本週為第三課的第一週內容,本週的內容關於在實際項目進行中的一些基本策略,並不涉及技術性的知識。
經過整個第一課和第二課後, 我們已經瞭解了足夠支持我們構建一個完整的基礎神經網絡項目的知識和技術,本週便是在這些基礎上的一個指導策略,可以幫助實現更好確定項目方向,優化和評估模型性能。
只要對前面兩課涉及的技術原理足夠了解,可以説,本週的內容不存在理解上的難度。
本篇的內容關於模型性能與“人類性能”,通過比較模型性能和人的表現討論模型優化的方向和空間。
1. 人類表現和貝葉斯最優錯誤率
我們之前一直在提貓分類器,實際上,我們人眼很容易就能做到這一點,無論是高清還是模糊,除非是一些確實模糊到近乎馬賽克的圖像,不然我們都能成功的分辨。
換句話説,以任何一個指標來説,人類都是一個極其優秀的貓分類器。
但很顯然,我們的“人類性能”用來做貓分類器實在是有點大材小用了。
所以,我們創造人工智能,就是想要以精密的工作流實現這部分功能,讓我們的“性能”發揮在更有用的地方。
而實際上,現在人工智能在很多領域的性能甚至已經超越了“人類性能”,人工智能如何至此?我們又是如何以“人類性能”指導人工智能的優化的?這就是這本篇的內容。
首先,我們對一個項目的開發往往有這樣一個過程:
而對於為什麼模型性能超過“人類性能”後很難再提升,我們再展開一下:
瞭解了這部分內容後,你就會發現,對於某項任務,瞭解我們人的水平,對模型性能的提升也會有所指導。
由此,我們進入下一部分。
2.可避免偏差下的優化策略
又雙是貓分類器,我們再以此先引出一個説法:在計算機視覺領域,我們的識別分辨能力幾乎很難出現差錯,因此,在這種人的水平極高的領域裏,我們可以直接把”人類錯誤率“作為貝葉斯最優錯誤率。
知道了這個前提後,現在來看這樣一個例子,這裏引入了一個新概念:可避免偏差。
就像圖中所示,引入可避免偏差後,我們就可以以此判斷更適合的優化策略。
此外,對於偏差和方差問題,如果你有些遺忘,可以在這裏回顧:偏差與方差
現在,我們知道在某些領域可以人類錯誤率作為貝葉斯最優錯誤率來估計優化空間,但人與人間是不同的,我們要如何界定人類錯誤率?
我們繼續下一部分。
3. 如何界定“人類性能”?
來看課程裏這樣一個例子:
相信你應該有答案了,我們繼續:
在此之前,我們評估偏差問題,實際上都是以0%的錯誤率為目標的,經過這一部分後,我們更細化了優化空間,這也能幫助我們做出更準確的優化決策。
這種指導作用會一直存在,直到模型性能超過人類性能。
那這時我們該怎麼辦呢?這就是下一部分的內容。
4. 超越人類後
繼續這個醫生的例子,現在來看這種情況:
實際上,這類機器超過人類的領域有很多,最常見的就是推薦算法,你的抖音推送,你的購物APP首頁,可能比你自己還要了解你。
八年前的課程裏並沒有提及在模型超過人類表現後的進一步調優的具體方法論,但我想就算是現在也沒有這種東西。可以説,在調優裏,唯一不變的就是不斷地嘗試。
5.總結
我們完善前面一幅圖來總結一下本週的理論內容: