[發明專利]一種膨脹全卷積神經網絡裝置及其構建方法

有效

• 申請號: 201810470228.5
• 申請日: 2018-05-16
• 公開（公告）號: CN108717569B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 曹鐵勇;方正;張雄偉;楊吉斌;孫蒙;李莉;趙斐;洪施展;項圣凱
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種膨脹全卷積神經網絡及其構建方法。該神經網絡包括依次連接的卷積神經網絡、特征提取模塊、特征融合模塊。構建方法如下：選取卷積神經網絡：將卷積神經網絡中用于分類的全連接層和分類層去除，只留下中間的卷積層和池化層，并從卷積層和池化層中提取特征圖；構造特征提取模塊：特征提取模塊包括多個串聯的膨脹上采樣模塊，每個膨脹上采樣模塊分別包括一個特征圖合并層、一個膨脹卷積層和一個反卷積層；構造特征融合模塊：特征融合模塊包括一個密集膨脹融合卷積塊、一個反卷積層。本發明有效地解決了卷積神經網絡中特征提取和融合問題，可以應用到圖像的像素級別標注任務中。

技術領域

本發明屬于圖像信號處理技術領域，特別是一種膨脹全卷積神經網絡裝置及其構建方法。

背景技術

卷積神經網絡(CNN)是深度學習在圖像處理和計算機視覺中應用范圍最廣泛的網絡。CNN最開始被設計來用于圖像識別分類，即輸入圖像經過CNN后輸出圖像中的類別標簽。但是，在圖像處理的一些領域，僅僅識別整個圖像的類別是遠遠不夠的。比如圖像語義分割，需要將圖像中每一個像素點的類別都標注出來，這時的輸出就不是一個類別標簽，而是一張與原圖像大小相同的映射圖，該映射圖中每個像素都標記了原圖像中對應像素所屬的語義類別。這時，僅靠CNN是無法完成任務的，需要對CNN做出結構上的改進，最早的CNN改造成像素級別標注任務的網絡是全卷積網絡(FCN)(J.Long,E.Shelhamer,and T.Darrell,“Fully convolutional networks for semantic segmentation,”in Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition,2015,pp.3431–3440.)，該網絡將傳統CNN尾部的分類層換成了卷積層和反卷積層，以得到與原圖像大小相同的輸出映射圖像，FCN最早用于圖像的語義分割，后來也被用于其它類的像素級別的標注任務。FCN主要應用在以下兩個方面：

(1)圖像顯著性檢測：圖像的顯著性檢測目的是找出圖像中的顯著前景目標，簡單地說就是通過算法檢測出圖像地前景和背景目標，如果用FCN來學習顯著性檢測模型，一般網絡的損失函數為標注圖與生成映射圖之間的歐幾里得距離或者交叉熵。

(2)圖像語義分割：不同于顯著性目標檢測，語義分割要找出每幅圖像中所有語義內容并進行標注，既要分割出前景也有背景，同時還要將標注區域進行分類。在利用FCN訓練語義分割模型時，一般損失函數由交叉熵和一個Softmax分類函數構成。

但是從以往全卷積網絡中得到的結果圖，往往不能很好地保留物體的邊緣信息，結果圖往往較為粗糙，一般都會采用一個后處理過程以提高標注精度。這些后處理過程不僅增加了標注模型的復雜性，同時由于人為分割了標注過程，得到的結果不平滑，有較多不連續的像素點，對結果有很大影響。這些缺點主要是因為之前的FCN沒有很好地提取和利用網絡中的圖像特征，導致了結果性能的下降。另一方面，以往的FCN都有很大的參數量，不利于模型的移植和小型化。

發明內容

本發明的目的在于提供一種膨脹全卷積神經網絡裝置及其構建方法，從而精確地提取和利用網絡中的圖像特征，并用于圖像像素級別分割任務。

實現本發明目的的技術解決方案為：一種膨脹全卷積神經網絡裝置，包括依次連接的卷積神經網絡、特征提取模塊、特征融合模塊，其中：

卷積神經網絡為網絡主體，包括卷積層和池化層，從卷積層和池化層中提取特征圖；

特征提取模塊包括多個串聯的膨脹上采樣模塊，每個膨脹上采樣模塊分別包括一個特征圖合并層、一個膨脹卷積層和一個反卷積層；特征圖合并層利用疊加的方式合并相同大小的特征圖；膨脹卷積層用于擴大感受野，感受野的定義是卷積神經網絡每一層輸出的特征圖上的像素點在原始圖像上映射的區域大小；反卷積層用來將特征圖進行上采樣，使反卷積層的輸出特征圖為輸入特征圖大小的兩倍；