文章作者:Tyan 簡書、
1. 擴張卷積
Dilated Convolutions,翻譯為擴張卷積或空洞卷積。擴張卷積與普通的卷積相比,除了卷積核的大小以外,還有一個擴張率(dilation rate)參數,主要用來表示擴張的大小。擴張卷積與普通卷積的相同點在於,卷積核的大小是一樣的,在神經網絡中即參數數量不變,區別在於擴張卷積具有更大的感受野。感受野是卷積核在圖像上看到的大小,例如3×33×3卷積核的感受野大小為9。
2. 示意圖
下圖是擴張卷積的示意圖。
(a) 普通卷積,1-dilated convolution,卷積核的感受野為3×3=93×3=9。
(b) 擴張卷積,2-dilated convolution,卷積核的感受野為7×7=497×7=49。
(c) 擴張卷積,4-dilated convolution,卷積核的感受野為15×15=22515×15=225。
從上圖中可以看出,卷積核的參數個數保持不變,感受野的大小隨着“dilation rate”參數的增加呈指數增長。
3. 優點
擴展卷積在保持參數個數不變的情況下增大了卷積核的感受野,同時它可以保證輸出的特徵映射(feature map)的大小保持不變。一個擴張率為2的3×3卷積核,感受野與5×5的卷積核相同,但參數數量僅為9個,是5×5卷積參數數量的36%36%。
4. 應用
擴張卷積在圖像分割、語音合成、機器翻譯、目標檢測中都有應用。
5. 參考資料
Multi-Scale Context Aggregation by Dilated Convolutions