論文地址：https://arxiv.org/abs/1504.06375

現有的多尺度多層次的神經網絡

 　　多尺度學習可以在神經網絡中，以越來越大的感受野和下采樣的形式，每個層中學習的特徵表示是多尺度的，另一方面在神經網絡之外，也可以通過例如調整輸入圖像的尺度獲得多尺度信息。

多尺度學習的可能配置

　　multi-stream learning: 多個（並行）網絡流具有不同的參數號和接收字段大小，對應於多個尺度。將輸入數據同時饋入多個流中，然後將各流產生的級聯特徵響應饋入全局輸出層以產生最終結果。

　　skip-net learning: skip-net體系結構的拓撲結構不是訓練多個並行流，而是以一個主流為中心。添加鏈接以合併來自主網絡流的不同級別的特徵響應，然後將這些響應組合到共享輸出層中。

　　Single model on multiple inputs: 為了獲得多尺度預測，還可以對多個（縮放的）輸入圖像運行單個網絡（或具有綁定權重的網絡）。

　　Training independent networks: 通過訓練具有不同深度和不同輸出損耗層的多個獨立網絡來進行多尺度預測。實施這項工作可能具有實際挑戰性，因為這一重複將使培訓所需資源成倍增加。

　　Holistically-nested networks: 網絡是一個相對簡單的變種，能夠從多個尺度產生預測。該體系結構可以解釋為圖2（d）中“獨立網絡”方法的“整體嵌套”版本。架構包括一個具有多個邊輸出的單流深度網絡。

網絡細節

　　每一層的目標函數（公式1），使用一種簡單的策略自動平衡正負樣本之間的損失（公式2）。為了直接利用邊輸出預測，我們在網絡中加入一個加權融合層，同時在訓練過程中學習融合權重（公式3）。通過標準（反向傳播）隨機梯度下降最小化以下目標函數（公式4）。