[發明專利]一種并行特征全卷積神經網絡裝置及其構建方法

有效

• 申請號: 201810468647.5
• 申請日: 2018-05-16
• 公開（公告）號: CN108596330B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 曹鐵勇;方正;張雄偉;楊吉斌;孫蒙;李莉;趙斐;洪施展;項圣凱
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/774;G06K9/62
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

1.一種并行特征全卷積神經網絡裝置，其特征在于，包括卷積神經網絡，并行膨脹模塊，并行特征上采樣模塊，特征圖求和模塊，特征圖并列模塊和幾個卷積層，其中：

所述卷積神經網絡為網絡主體，包括卷積層和池化層，從卷積層和池化層中提取特征圖；

所述并行膨脹模塊，包含U個不同的膨脹卷積層，其中每個膨脹卷積層設置不同膨脹因子，U是1到16間的任意值，U個膨脹卷積層的膨脹因子應各不相同，且不超過16；膨脹卷積層用于擴大感受野，感受野的定義是卷積神經網絡每一層輸出的特征圖上的像素點在原始圖像上映射的區域大小；同時包含一個空白支路，不對該支路的特征圖進行任何操作，該空白支路用于提取不經過膨脹的特征圖，并行膨脹模塊的輸出是由所有支路特征圖合并而成的一個張量，包含了經過不同膨脹因子以及不膨脹處理的特征圖；

所述并行特征上采樣模塊，若卷積神經網絡有M次降采樣過程，則包括M－1個上采樣支路，每個上采樣支路的輸入來自于對應并行膨脹模塊的輸出，對于從第二次降采樣后的特征圖，對應上采樣支路需要1個反卷積層，第三次降采樣后的特征圖需要2個反卷積層，依次類推，第M次降采樣后的特征圖上采樣支路需要M-1個反卷積層；

所述特征圖求和模塊，從并行特征上采樣模塊中提取出的特征圖，通過加法操作兩兩相加，然后將所有加和的特征圖輸出；

所述特征圖并列模塊，從并行特征上采樣模塊中提取出的特征圖，直接并列輸出；

從上述特征圖求和模塊輸出的特征圖組成一個張量；同時另一邊，沒有經過和操作的特征圖并列模塊輸出的特征圖也組成一個張量，這兩個張量分別先通過一個對應的卷積層以加深網絡深度，然后共同輸入到網絡末端的卷積層，融合所有加和及并列特征，以輸出融合結果；

所述并行膨脹模塊中，每個膨脹卷積層的輸入特征圖和輸出特征圖的大小相同，每個膨脹卷積輸出特征圖的通道數自行設定，應小于對應卷積神經網絡中特征提取層輸出特征圖的個數；

所述并行膨脹模塊，從卷積神經網絡經過第二次降采樣后開始構建，從第二次降采樣之后、第三次降采樣之前的卷積層或池化層中選取一個，用該層輸出的特征圖作為第一個并行膨脹模塊的輸入，依次類推，對每一次降采樣過后的特征圖，構建一個并行膨脹模塊，從輸出尺寸特征圖的卷積層或者池化層的輸出特征圖作為并行膨脹模塊的輸入；

所述并行特征上采樣模塊中，每個上采樣模塊的輸出通道數一致；

所述融合結果經過最后一個反卷積層輸出得到與輸入圖像大小相同的像素級別標注結果，最后一個反卷積層中的激活函數根據具體任務進行選擇：如果用該網絡進行圖像語義分割任務的訓練，則激活函數為softmax分類函數；如果進行顯著性檢測任務的訓練，則激活函數為sigmoid函數。

2.一種并行特征全卷積神經網絡的構建方法，其特征在于，包括以下步驟：

步驟1，選取卷積神經網絡：將卷積神經網絡中用于分類的全連接層和分類層去除，只留下中間的卷積層和池化層，并從卷積層和池化層中提取特征圖；

步驟2，構造并行膨脹模塊：所述并行膨脹模塊，包含U個不同的膨脹卷積層，其中每個膨脹卷積層設置不同膨脹因子，U是1到16間的任意值，U個膨脹卷積層的膨脹因子應各不相同，且不超過16；膨脹卷積層用于擴大感受野，感受野的定義是卷積神經網絡每一層輸出的特征圖上的像素點在原始圖像上映射的區域大小；同時包含一個空白支路，不對該支路的特征圖進行任何操作，該空白支路用于提取不經過膨脹的特征圖，并行膨脹模塊的輸出是由所有支路特征圖合并而成的一個張量，包含了經過不同膨脹因子以及不膨脹處理的特征圖；

步驟3，構造并行特征上采樣模塊：所述并行特征上采樣模塊，若卷積神經網絡有M次降采樣過程，則包括M－1個上采樣支路，每個上采樣支路的輸入來自于對應并行膨脹模塊的輸出，對于從第二次降采樣后的特征圖，對應上采樣支路需要1個反卷積層，第三次降采樣后的特征圖需要2個反卷積層，依次類推，第M次降采樣后的特征圖上采樣支路需要M-1個反卷積層；

步驟4，構造特征圖求和模塊、特征圖并列模塊：所述特征圖求和模塊，從并行特征上采樣模塊中提取出的特征圖，通過加法操作兩兩相加，然后將所有加和的特征圖輸出；所述特征圖并列模塊，從并行特征上采樣模塊中提取出的特征圖，直接并列輸出；

步驟5，從上述特征圖求和模塊輸出的特征圖組成一個張量；同時另一邊，沒有經過和操作的特征圖并列模塊輸出的特征圖也組成一個張量，這兩個張量分別先通過一個對應的卷積層以加深網絡深度，然后共同輸入到網絡末端的卷積層，融合所有加和及并列特征，以輸出融合結果；

步驟2所述并行膨脹模塊中，每個膨脹卷積層的輸入特征圖和輸出特征圖的大小相同，每個膨脹卷積輸出特征圖的通道數自行設定，應小于對應卷積神經網絡中特征提取層輸出特征圖的個數；

所述并行膨脹模塊，從卷積神經網絡經過第二次降采樣后開始構建，從第二次降采樣之后、第三次降采樣之前的卷積層或池化層中選取一個，用該層輸出的特征圖作為第一個并行膨脹模塊的輸入，依次類推，對每一次降采樣過后的特征圖，構建一個并行膨脹模塊，從輸出尺寸特征圖的卷積層或者池化層的輸出特征圖作為并行膨脹模塊的輸入

步驟3所述并行特征上采樣模塊中，每個上采樣模塊的輸出通道數一致

步驟5所述融合結果經過最后一個反卷積層輸出得到與輸入圖像大小相同的像素級別標注結果，最后一個反卷積層中的激活函數根據具體任務進行選擇：如果用該網絡進行圖像語義分割任務的訓練，則激活函數為softmax分類函數；如果進行顯著性檢測任務的訓練，則激活函數為sigmoid函數。