[發明專利]基于特征引導網絡的圖像分類與分割的裝置、方法、設備及介質

有效

• 申請號: 202011597039.8
• 申請日: 2020-12-29
• 公開（公告）號: CN112699937B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 劉哲;龐杰;宋余慶
• 申請（專利權）人: 江蘇大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V10/44;G06V10/80;G06V10/82;G06V10/25;G06K9/62;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于特征引導網絡的圖像分類與分割的方法，其特征在于，根據輸入圖像的需求，選擇進行分類還是分割，若是分類，則將圖像輸入已訓練的分類網絡模型，輸出相應的類別；若是分割，則將圖像輸入已訓練的分割網絡模型，輸出分割后的圖像；

所述分類網絡模型為特征引導分類網絡：輸入圖像經過一個3×3的卷積，再經過5個基本單元塊與下采樣操作，最后將得到的輸出特征圖扁平化，并接入全連接網絡；在每個基本單元塊前后，添加殘差連接操作；對每個基本單元塊產生的輸出特征圖在空間維度進行局部特征增強、在通道維度進行全局特征提取，并在全連接層之前進行全局特征與局部特征融合；

所述分割網絡模型為特征引導分割網絡，采用編碼器-解碼器結構；在編碼器部分，輸入圖像經過一個3×3的卷積，再經過4個基本單元塊與下采樣操作，最后經過1個基本單元塊與ReLU激活函數；在每個基本單元塊前后，添加殘差連接操作；對每個基本單元塊產生的輸出特征圖在空間維度進行局部特征增強、在通道維度進行全局特征提取；在解碼器部分，ReLU激活函數后產生的輸出特征圖輸入解碼器，將編碼器基本單元塊產生的輸出特征圖與解碼器上采樣后的特征圖在通道維度進行對應尺度的連接，再經過一次普通卷積，產生的輸出特征圖作為下一個上采樣層的輸入特征圖，直至第4個普通卷積后產生的輸出特征圖進行第5次上采樣和第5次普通卷積，輸出分割后的圖像。

2.根據權利要求1所述的基于特征引導網絡的圖像分類與分割的方法，其特征在于，所述基本單元塊采用4條并行的水平通路，每一條水平通路上采用數量不等的卷積操作；通過特征圖連接操作，使得各條通路之間的特征相互融合；通過分別在同一通路以及不同通路上引入殘差連接操作，增強同一通路上的類似特征與不同通路上特征的融合。

3.根據權利要求2所述的基于特征引導網絡的圖像分類與分割的方法，其特征在于，所述卷積操作設計為深度可分離卷積。

4.根據權利要求1所述的基于特征引導網絡的圖像分類與分割的方法，其特征在于，所述空間維度進行局部特征增強，具體為：對每個基本單元塊輸出的特征圖進行全局平均池化，得到一個特征向量，再將基本單元塊原始輸出特征圖與所述特征向量進行點乘操作，得到增強后的輸出特征圖，所述增強后的特征圖作為下一個基本單元塊的輸入，最后一個基本單元塊增強后的輸出特征圖，進行全局平均池化，作為全連接網絡的輸入。

5.根據權利要求1所述的基于特征引導網絡的圖像分類與分割的方法，其特征在于，所述通道維度進行全局特征提取，具體為：對每個基本單元塊產生的多通道輸出特征圖進行壓縮，提取出只包含單個通道的全局輸出特征圖。

6.根據權利要求1所述的基于特征引導網絡的圖像分類與分割的方法，其特征在于，在圖像輸入前，進行感興趣區域截取。

7.根據權利要求1所述的基于特征引導網絡的圖像分類與分割的方法，其特征在于，在圖像輸入前，對輸入圖像進行仿射變換操作和歸一化操作。

8.一種實現權利要求1-7任一項所述的基于特征引導網絡的圖像分類與分割的方法的裝置，其特征在于，包括：

數據預處理模塊，對輸入圖像進行各種仿射變換操作和歸一化操作；

圖像分類模塊，用于構建特征引導分類網絡，所述特征引導分類網絡包括一個3×3的卷積層、5個基本單元塊和全連接網絡；

圖像分割模塊，用于構建特征引導分割網絡，所述特征引導分割網絡采用編碼器-解碼器結構；編碼器包括一個3×3的卷積層、4個基本單元塊與下采樣層、1個基本單元塊與ReLU激活函數；解碼器包括5個上采樣層和5個普通卷積層。

9.一種計算機設備，其特征在于，包括處理器和存儲器；

所述存儲器用于存儲計算機程序；

所述處理器，用于執行所述計算機程序并在執行所述計算機程序時實現如權利要求1-7中任一項所述的圖像分類與分割的方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時使所述處理器實現如權利要求1-7中任一項所述的圖像分類與分割的方法。