[發明專利]基于編解碼結構的DeepLabv3plus-IRCNet圖像語義分割算法

在審

• 申請號: 202010212874.9
• 申請日: 2020-03-24
• 公開（公告）號: CN111401379A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 王海榮;劉文
• 申請（專利權）人: 北方民族大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06N3/04;G06T7/60;G06N3/08
• 代理公司: 西安研創天下知識產權代理事務所(普通合伙) 61239
• 代理人: 郭璐

本發明公開了基于編解碼結構的DeepLabv3plus?IRCNet圖像語義分割算法，基于DeepLabv3plus，由引入深度可分離卷積的倒置殘差模塊串聯組成的深度卷積神經網絡來提取圖片特征，并在1/16分辨率下引入特征圖切分模塊，然后將各個切分特征圖分別放大到切分前的大小后，通過參數共享的方式來提取特征，把每個輸出的特征圖進行對應位置拼接后與解碼階段放大到相同尺寸的特征圖進行融合，來提高模型對小目標物體特征的提取能力，有效解決了圖像下采樣過程中特征圖分辨率逐漸下降致使小目標丟失問題。

技術領域

本發明涉及計算機視覺領域，尤其涉及基于編解碼結構的 DeepLabv3plus-IRCNet圖像語義分割算法。

背景技術

圖像語義分割是計算機視覺領域中的基本研究課題之一，其目標是為圖像中的每個像素分配語義標簽。當前基于深度卷積神經網絡 (DNCCs)的語義分割模型的發展，主要得益于全卷積神經網絡(FCN) 的提出，它把卷積神經網絡后面的的全連接層全部換成卷積層，上采樣使用雙線性插值算法，輸出與輸入尺寸分割圖。但是當時FCN存在兩個問題：1)特征圖的分辨率不斷縮小，導致丟失了部分小目標的像素；2)沒有充分考慮圖像上下文信息(像素與像素之間的關系)，無法充分利用豐富的空間位置信息。因此后來研究者們在FCN的基礎上提出了一系列新方法，可以分為三類：基于優化卷積結構的方法、基于編碼器-解碼器的方法、基于特征融合的方法。

這些方法都是為了讓模型能夠更好的提取中間層不同分辨率下的特征信息，它們都是直接在整張特征圖上進行操作，但是在一張圖像中的某一局部區域中經常存在有極小的目標，普通卷積操作不能很好的提取到小目標物體的特征，難以獲得較好的語義分割效果。

發明內容

針對上述存在的問題，本發明旨在提供一種能夠提高對小目標物體特征的提取能力的算法，即DeepLabv3plus-IRCNet圖像語義分割算，所述算法是在DeepLabv3plus的基礎上加入了倒置殘差(Inverted Residual)模塊和特征圖切分(Cut)模塊，并且本文算法名稱取其每個單詞的首字母。

為了實現上述目的，本發明所采用的技術方案如下：

基于編解碼結構的DeepLabv3plus-IRCNet圖像語義分割算法，基于DeepLabv3plus網絡結構，其特征在于，包括以下步驟：

S1：輸入預處理圖片；

S2：在編碼階段，采用由普通卷積層和多個倒置殘差模塊串聯組成的深度卷積神經網絡來提取特征；

S3：將提取到的特征輸入到空洞空間金字塔池化模塊中，然后用 1x1卷積得到目標特征圖的輸出張量；

S4：在解碼階段，采用雙線性插值法進行上采樣，將編碼器中所提取的特征恢復到輸入圖片尺寸的大小，輸出最終的圖像語義分割圖。

進一步地，步驟S2中所述的倒置殘差模塊中使用深度可分離卷積代替普通卷積，在下采樣過程中用深度可分離卷積中的步長大小降低圖片的分辨率，當特征圖的分辨率下降到輸入圖片的1/16大小時，在最后一個倒置殘差模塊中引入空洞率為2的空洞卷積，同時引入特征圖切分模塊提取特征。

進一步地，所述倒置殘差模塊與通常的殘差模塊是相反的，是先經過1*1的卷積核把特征圖的通道數進行“擴張”，最后再經過1*1 的卷積核對通道數進行“壓縮”。

進一步地，所述空洞卷積的一維數學表達形式為公式其中，x[i]表示一個一維輸入信號，y[i]表示一個輸出信號，w[k]表示一個長度為K、空洞率為r的卷積核。

進一步地，所述的特征圖切分模塊提取特征的具體操作步驟為：

S21：將1/16分辨率下的特征圖在空間維度(w，h)上進行切分，w、h分別為特征圖的寬度、高度，設n為切分比率，每個特征圖被切分為n*n個切分模塊，并且n≥1；