[發明專利]一種基于局部和全局特征增強模塊的圖像語義分割方法

有效

• 申請號: 201911349605.0
• 申請日: 2019-12-24
• 公開（公告）號: CN111210435B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 陳喬松;段博鄰;隋曉旭;李金鑫;王郅翔;周麗;劉宇;張珺涵;邊愿愿
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V20/10;G06V10/80;G06N3/04;G06N3/08;G06T9/00
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 李金蓉

本發明公開了一種基于局部和全局特征增強模塊的圖像語義分割方法，包括選取并制作語義分割任務所需的訓練集圖像和驗證集圖像，以及相應的標簽圖片。對訓練集圖像進行數據增強，分別對訓練集圖像和驗證集圖像中的樣本圖像進行標準化，對應的標簽圖像進行編碼，設計卷積神經網絡中，處理后數據作為模型的輸入數據，輸出多通道特征圖，優化卷積神經網絡參數，輸入真實場景圖像到參數優化后的卷積神經網絡中進行語義分割，輸出像素被標記后的圖像。本發明為場景解析和強化學習等研究中的后續操作提供了重要的技術支持，可應用于虛擬現實，自動駕駛和人機交互等領域。

技術領域

本發明涉及卷積神經網絡和圖像語義分割技術，尤其涉及基于卷積神經網絡的增強特征的圖像語義分割方法。

背景技術

圖像語義分割是計算機視覺中重要的研究課題之一，其研究結果對于其它的視覺任務有著重要的影響作用。語義分割技術目前已廣泛應用于人工解析，虛擬現實，自動駕駛等領域，但在某些復雜的場景中，由于分割目標種類多且尺度多樣化，小尺度目標分割精度比較低，具有相似特征的目標之間像素分類易出錯。

隨著深度學習和機器學習的穩步發展，利用卷積神經網絡學習目標特征受到了研究者們的極大追捧，出現很多采用全卷積神經網絡進行像素級別分類達到語義分割效果的方法，目前基于全卷積神經網絡的圖像語義分割方法分為單階段網絡和兩階段網絡，單階段網絡對圖像進行編碼后直接上采樣得到輸出，例如FCN，DeepLab系列，PSPNet等算法，而兩階段網絡先對圖像進行編碼后解碼得到輸出，例如U-Net，SegNet，RefineNet，GCN等。圖像語義分割方法研究的難點在于對小尺度目標的局部感知特征提取，以及保證目標像素類別的分類正確。

發明內容

本發明的目的為解決真實的街道場景圖像的語義分割問題，為場景解析和強化學習等研究中的后續操作提供了重要的技術支持，可應用于虛擬現實，自動駕駛和人機交互等領域。

為了實現上述目的，本發明采用的技術方案是：一種基于局部和全局特征增強模塊的圖像語義分割方法，包括以下步驟：

1)、獲取數據集，選取并制作語義分割任務所需的訓練集圖像和驗證集圖像，以及相應的標簽圖片。

2)、對訓練集圖像進行數據增強，分別對訓練集圖像和驗證集圖像中的樣本圖像進行標準化，對應的標簽圖像進行編碼，處理后數據作為模型的輸入數據。

3)、將步驟2)處理后的數據輸入基于tensorflow開源深度學習框架設計的卷積神經網絡中，輸出多通道特征圖。

4)、計算卷積神經網絡模型的輸出結果與編碼后的標簽圖像的損失，優化卷積神經網絡參數。

5)、輸入真實場景圖像到參數優化后的卷積神經網絡中進行語義分割，輸出像素被標記后的圖像。

本發明的有益效果如下：

本發明基于卷積神經網絡，發明一種增強局部特征和全局特征的編碼器加解碼器的結構，并融合淺層細節特征和深層語義特征，使得特征圖信息更加多樣。其中局部特征增強模塊對局部特征和周圍特征進行差值提取，獲得了增強的局部感知特征，改善小尺度目標的分割效果。全局特征增強模塊提取了上文特征圖通道間的全局信息，用于對下文特征圖進行全局特征增強，改善特征圖間的融合，增加同語義目標分類的一致性。該模型具有穩定的分割性能，對復雜分布的街道場景目標具有很好的分割魯棒性。

附圖說明

圖1是本發明的流程圖；

圖2是Sigmoid激活函數圖像；

圖3是局部特征增強模塊圖像；

圖4是全局特征增強模塊圖像；

圖5是街道場景圖像的語義分割結果圖。

具體實施方式