[發明專利]基于特征引導網絡的圖像分類與分割的裝置、方法、設備及介質

有效

• 申請號: 202011597039.8
• 申請日: 2020-12-29
• 公開（公告）號: CN112699937B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 劉哲;龐杰;宋余慶
• 申請（專利權）人: 江蘇大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V10/44;G06V10/80;G06V10/82;G06V10/25;G06K9/62;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于特征引導網絡的圖像分類與分割的裝置、方法、設備及介質，屬于深度學習技術領域。本發明的特征引導分類網絡和特征引導分割網絡包括基本單元塊，基本單元塊之間的局部特征增強以及全局特征提取，一定程度上解決了目前圖像分類與圖像分割網絡模型特征利用不充分問題，使得訓練出的特征引導分類網絡以及特征引導分割網絡效果更優，更加魯棒。本發明根據輸入圖像的需求，選擇特征引導分類網絡還是特征引導分割網絡，輸出相應的類別或分割后的圖像，解決現有的分類或分割網絡模型存在分類或分割結果效果不理想的問題。

技術領域

本發明涉及深度學習領域，特別是深度學習中卷積神經網絡在圖像分類與分割方面的應用。

背景技術

圖像分類與圖像分割是計算機視覺領域的兩大任務。圖像分類的目的是給定一張圖像，判定該圖像到底屬于哪一個具體的類別。圖像分割則是從給定的圖像中，分割出只包含感興趣區域的目標。

在圖像分類領域，主要包含傳統的機器學習算法和目前流行的深度學習方法。機器學習算法往往需要手動地設計特征與人工干預，而深度學習方法有著強大的自動提取特征的能力而被廣泛研究。更為重要的是，深度學習方法在圖像分類領域的效果遠好于傳統的機器學習算法，這得益于深度學習中的卷積神經網絡。然而，目前的圖像分類網絡模型沒有充分利用從原始輸入到模型輸出之間的精細特征，而取得了相對較低的分類精度。這主要是因為目前設計的分類網絡模型未能做到充分地特征引導、特征增強與利用。

圖像分割又分為語義分割和實例分割，給定一張圖像，前者只要分割出不同類別的目標即可，而后者不但要分割出不同的類別，還要在此基礎上進一步完成同一類別、不同對象的分割。在圖像分割領域，卷積神經網絡也取得了良好的效果。具有里程碑意義的便是2015年提出用于語義分割的全卷積網絡，全卷積網絡不包含全連接層，從而適應任意尺寸的輸入，采用反卷積操作與跳級結構，輸出更加精細的結果。正因為全卷積網絡的良好設計理念，在圖像分割領域被不斷的改進與完善，并被廣泛應用。圖像分割實質上是像素級的圖像分類，因此對圖像分割網絡實施精細的特征提取尤為重要。然而，目前的圖像分割網絡模型大多忽略了更為密集的特征提取方式與對卷積后特征的充分再利用，例如編碼過程的特征增強與解碼過程的特征利用。

發明內容

針對現有技術中存在不足，本發明提供了一種基于特征引導網絡的圖像分類與分割的裝置、方法、設備及介質，解決現有的分類或分割網絡模型分類或分割結果效果不理想的問題。

本發明是通過以下技術手段實現上述技術目的的。

一種基于特征引導網絡的圖像分類與分割的方法，根據輸入圖像的需求，選擇進行分類還是分割，若是分類，則將圖像輸入已訓練的分類網絡模型，輸出相應的類別；若是分割，則將圖像輸入已訓練的分割網絡模型，輸出分割后的圖像；

所述分類網絡模型為特征引導分類網絡：輸入圖像經過一個3×3的卷積，再經過5個基本單元塊與下采樣操作，最后將得到的輸出特征圖扁平化，并接入全連接網絡；在每個基本單元塊前后，添加殘差連接操作；對每個基本單元塊產生的輸出特征圖在空間維度進行局部特征增強、在通道維度進行全局特征提取，并在全連接層之前進行全局特征與局部特征融合；

所述分割網絡模型為特征引導分割網絡，采用編碼器-解碼器結構；在編碼器部分，輸入圖像經過一個3×3的卷積，再經過4個基本單元塊與下采樣，最后經過1個基本單元塊與ReLU激活函數；在每個基本單元塊前后，添加殘差連接操作；對每個基本單元塊產生的輸出特征圖在空間維度進行局部特征增強、在通道維度進行全局特征提取；在解碼器部分，ReLU激活函數后產生的輸出特征圖輸入解碼器，將編碼器基本單元塊產生的輸出特征圖與解碼器上采樣后的特征圖在通道維度進行對應尺度的連接，再經過一次普通卷積，產生的輸出特征圖作為下一個上采樣層的輸入特征圖，直至第4個普通卷積后產生的輸出特征圖進行第5次上采樣和第5次普通卷積，輸出分割后的圖像。