[發明專利]一種并行特征全卷積神經網絡裝置及其構建方法

有效

• 申請號: 201810468647.5
• 申請日: 2018-05-16
• 公開（公告）號: CN108596330B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 曹鐵勇;方正;張雄偉;楊吉斌;孫蒙;李莉;趙斐;洪施展;項圣凱
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/774;G06K9/62
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種并行特征全卷積神經網絡及其構建方法。所述神經網絡包括卷積神經網絡，并行膨脹模塊，并行特征上采樣模塊，特征圖求和模塊，特征圖并列模塊和幾個卷積層。構建方法為：移除卷積神經網絡最后的分類層，設計并行膨脹模塊和并行特征上采樣模塊提取卷積神經網絡中間層特征圖；特征圖求和模塊提取出的特征圖，通過加法操作兩兩相加；特征圖并列模塊提取出的特征圖直接并列輸出；從上述特征圖求和模塊、特征圖并列模塊輸出的特征圖分別組成一個張量，通過一個對應的卷積層，然后共同輸入到網絡末端的卷積層，融合所有加和及并列特征，輸出融合結果。本發明有較少的網絡參數量，更好地利用了網絡中的特征圖，可以應用到圖像的像素級別標注任務中。

技術領域

本發明屬于圖像信號處理技術領域，特別是一種并行特征全卷積神經網絡裝置及其構建方法。

背景技術

卷積神經網絡(CNN)是深度學習在圖像處理和計算機視覺中應用范圍最廣泛的網絡。CNN最開始被設計來用于圖像識別分類，即輸入圖像經過CNN后輸出圖像中的類別標簽。但是，在圖像處理的一些領域，僅僅識別整個圖像的類別是遠遠不夠的。比如圖像語義分割，需要將圖像中每一個像素點的類別都標注出來，這時的輸出就不是一個類別標簽，而是一張與原圖像大小相同的映射圖，該映射圖中每個像素都標記了原圖像中對應像素所屬的語義類別。這時，僅靠CNN是無法完成任務的，需要對CNN做出結構上的改進，最早的CNN改造成像素級別標注任務的網絡是全卷積網絡(FCN)(J.Long,E.Shelhamer,and T.Darrell,“Fully convolutional networks for semantic segmentation,”in Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition,2015,pp.3431–3440.)，該網絡將傳統CNN尾部的分類層換成了卷積層和反卷積層，以得到與原圖像大小相同的輸出映射圖像，FCN最早用于圖像的語義分割，后來也被用于其它類的像素級別的標注任務。FCN主要應用在以下兩個方面：

(1)圖像顯著性檢測：圖像的顯著性檢測目的是找出圖像中的顯著前景目標，簡單地說就是通過算法檢測出圖像地前景和背景目標，如果用FCN來學習顯著性檢測模型，一般網絡的損失函數為標注圖與生成映射圖之間的歐幾里得距離或者交叉熵。

(2)圖像語義分割：不同于顯著性目標檢測，語義分割要找出每幅圖像中所有語義內容并進行標注，既要分割出前景也有背景，同時還要將標注區域進行分類。在利用FCN訓練語義分割模型時，一般損失函數由交叉熵和一個Softmax分類函數構成。

在全卷積網絡中，存在兩個主要的問題，一個問題是以往的全卷積網絡不能夠很好地利用所有中間層特征圖信息以得出最終結果，所以在大多數針對像素級別標注任務的全卷積網絡中，需要添加后處理過程，這就會使整個模型更加復雜。另一個問題就是現有全卷積網絡參數量很大，需要占用很大的內存及運算資源，難以推廣。

發明內容

本發明的目的在于提供一種網絡參數量少、更好地利用網絡中的特征圖的并行特征全卷積神經網絡裝置及其構建方法，從而可以應用到圖像的像素級別標注任務中。

實現本發明目的的技術解決方案為：一種并行特征全卷積神經網絡裝置，包括卷積神經網絡，并行膨脹模塊，并行特征上采樣模塊，特征圖求和模塊，特征圖并列模塊和幾個卷積層，其中：

所述卷積神經網絡為網絡主體，包括卷積層和池化層，從卷積層和池化層中提取特征圖；

所述并行膨脹模塊，包含U個不同的膨脹卷積層，其中每個膨脹卷積層設置不同膨脹因子，U是1到16間的任意值，U個膨脹卷積層的膨脹因子應各不相同，且不超過16；膨脹卷積層用于擴大感受野，感受野的定義是卷積神經網絡每一層輸出的特征圖上的像素點在原始圖像上映射的區域大小；同時包含一個空白支路，不對該支路的特征圖進行任何操作，該空白支路用于提取不經過膨脹的特征圖，并行膨脹模塊的輸出是由所有支路特征圖合并而成的一個張量，包含了經過不同膨脹因子以及不膨脹處理的特征圖；