本文是2016 台灣資料科學年會前導課程“一天搞懂深度學習”的全部講義PPT（共268頁），由台灣大學電機工程學助理教授李宏毅主講。作者在文中分四個部分對神經網絡的原理、目前存在形態以及未來的發展進行了介紹。深度學習的每一個核心概念在文中都有相關案例進行呈現，通俗易懂。一天的時間搞懂深度學習？其實並不是沒有可能。

        深度學習 ( Deep Learning ) 是機器學習 ( Machine Learning ) 中近年來備受重視的一支，深度學習根源於類神經網絡 ( Artificial Neural Network ) 模型，但今日深度學習的技術和它的前身已截然不同，目前最好的語音識別和影像辨識系統都是以深度學習技術來完成，你可能在很多不同的場合聽過各種用深度學習做出的驚人應用 ( 例如：最近紅遍大街小巷的 AlphaGo )，聽完以後覺得心癢癢的，想要趕快使用這項強大的技術，卻不知要從何下手學習，那這門課就是你所需要的。（關於深度學習的概述教程可見：）

以下是課程大綱：

什麼是深度學習

深度學習的技術表面上看起來五花八門，但其實就是三個步驟：設定好類神經網絡架構、訂出學習目標、開始學習，這堂課會簡介如何使用深度學習的工具 Keras，它可以幫助你在十分鐘內完成深度學習的程序。另外，有人説深度學習很厲害、有各種吹捧，也有人説深度學習只是個噱頭，到底深度學習和其他的機器學習方法有什麼不同呢？這堂課要剖析深度學習和其它機器學習方法相比潛在的優勢。

深度學習的各種小技巧

雖然現在深度學習的工具滿街都是，想要寫一個深度學習程序只是舉手之勞，但要得到好的成果可不簡單，訓練過程中各種枝枝節節的小技巧才是成功的關鍵。本課程中將分享深度學習的實作技巧及實戰經驗。

CNN和RNN網絡

這段課程要講解卷積神經網絡CNN和遞歸式類神經網絡 RNN。

深度學習應用與展望

深度學習可以拿來做甚麼？怎麼用深度學習做語音識別？怎麼用深度學習做問答系統？接下來深度學習的研究者們在意的是什麼樣的問題呢？

 

下面是課程全部PPT：

 

深度學習吸引了很大的關注：我相信，你之前肯定見到過很多激動人心的結果。圖中是谷歌內部深度學習技術的使用趨勢，可以看到從2015年第二季度開始，使用量呈直線上升。本講義聚焦深度學習基礎技術。

大綱：

報告第一部分：介紹深度學習

報告第二部分：關於訓練深度神經網絡的一些建議

報告第三部分：各種各樣的神經網絡

報告第四部分：下一股浪潮

報告1：深度學習介紹

深度學習有3步：神經網絡架構--學習目標--學習。

這三個步驟都是以數據為基礎的。

第3步：選擇最佳的功能函數。

從原理上説，深度學習非常簡單。

從函數的角度理解深度學習：第一步，是一個函數集；第二步，定義函數的擬合度；第三部，選擇最佳函數。

人類大腦的構成

神經網絡：神經元

激活函數的工作原理

不同的連接會導致不同的網絡結構

完全連接的反向網絡：S型網絡

極深網絡：從8層到19層，一直到152層。

全連接的反向網絡：矩陣系統

輸出層（選擇）

問題：

下圖中，總共有多少層？每一層有多少個神經元？

結構能自動決定嗎？

第二步：學習目標，定義函數擬合度。

例子：識別“2”

訓練數據：

準備訓練數據：圖像和相應的標籤

學習目標

損失：一個好的函數應該讓所有例子中的損失降到最小。

全局損失

第三步：學習！選擇最佳函數。

如何選擇最佳函數

梯度下降

梯度下降：綜合多個參數考慮的時候，你發現什麼問題了嗎？

局部最小值：梯度下降從來不會保證可以獲得全局最小值

反向傳播

可以做什麼？

第二部分：關於訓練深度神經網絡的一些小建議

第三部分：各種各樣的神經網絡