[發明專利]基于編解碼器的圖像語義分割方法及裝置

在審

• 申請號: 202010082637.5
• 申請日: 2020-02-07
• 公開（公告）號: CN111292330A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 青晨;禹晶;楊亞飛;肖創柏
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊明月

本發明實施例提供一種基于編解碼器的圖像語義分割方法及裝置，該方法包括：將待檢測圖像輸入至預設的圖像語義分割網絡模型的編碼器，利用卷積網絡提取特征后，分別輸入多個不同尺寸池化層，根據多個不同尺寸池化層的輸出結果進行特征融合，得到待檢測圖像的高層語義特征圖；將特征圖輸入圖像語義分割網絡模型的解碼器，得到語義分析的檢測結果；其中，圖像語義分割網絡模型根據帶有確定的語義標簽的樣本圖像進行訓練后得到。由于多個不同尺寸池化層融合了局部和全局信息，多尺度的感受域有助于不同尺寸目標的學習，從而能夠得到準確的待檢測圖像的高層語義特征圖。利用解碼器進行分析后，得到語義分析的檢測結果中目標邊界的分割精度更高。

技術領域

本發明涉及基于深度學習的語義分割領域，尤其涉及一種基于編解碼器的圖像語義分割方法及裝置。

背景技術

圖像語義分割是計算機視覺領域中的一項關鍵技術，對圖像理解、場景解析和目標跟蹤等任務起著至關重要的作用。語義分割是像素級的圖像理解，即對圖像中的每一個像素標注所屬的類別，其任務是將圖像分割成若干個有意義的目標，并為各個目標分配指定類型標簽。傳統的圖像分割方法根據圖像的顏色、紋理信息和空間結構等特征將圖像分割成不同的區域，同一區域內具有一致的語義信息，不同區域之間屬性不同。從最簡單的閾值分割、區域生長、邊緣檢測到圖劃分(Graph partitioning)的分割方法，圖像分割方法層出不窮。

目前的由編碼器網絡和相應的解碼器網絡實現的方法，在編碼器網絡中，將圖像輸入一個預訓練的分類網絡生成低分辨率的特征圖，而在解碼器中，通過上采樣將低分辨率的特征圖映射到原圖像尺寸，產生像素級的語義標簽，從而獲得語義分割的結果。雖然在一定程度上提高了預測結果的準確率，但是目標邊界的分割精度仍然有待提高。

發明內容

為了解決上述問題，本發明實施例提供一種基于編解碼器的圖像語義分割方法及裝置。

第一方面，本發明實施例提供一種基于編解碼器的圖像語義分割方法，包括：將待檢測圖像輸入至預設的圖像語義分割網絡模型的編碼器，利用卷積網絡提取特征后，分別輸入多個不同尺寸池化層，根據多個不同尺寸池化層的輸出結果進行特征融合，得到待檢測圖像的特征圖；將所述特征圖輸入所述圖像語義分割網絡模型的解碼器，得到語義分析的檢測結果；其中，所述圖像語義分割網絡模型根據帶有確定的語義標簽的樣本圖像進行訓練后得到。

進一步地，所述根據多個不同尺寸池化層的輸出結果進行特征融合之前，還包括：對多個池化層的輸出結果分別進行批標準化和1×1的卷積操作，以使融合后的特征通道數與卷積層提取的特征圖通道數一致。

進一步地，所述將所述特征圖輸入所述圖像語義分割網絡模型的解碼器，得到語義分析的檢測結果，包括：獲取編碼器的卷積網絡提取的低層特征；對待檢測圖像的特征圖進行上采樣，得到與所述低層特征維度相同的特征圖；將所述低層特征和上采樣后的特征圖進行特征融合，并進行上采樣得到與待檢測圖像相同維度的特征圖；根據所述與待檢測圖像相同維度的特征圖，得到語義分析的檢測結果。

進一步地，所述進行上采樣，包括：基于雙線性插值進行上采樣。

進一步地，所述卷積網絡包括ResNet101網絡。

進一步地，所述將待檢測圖像輸入至預設的圖像語義分割網絡模型的編碼器之前，還包括：獲取多個帶有確定的語義標簽的樣本圖像；基于包含動量系數的隨機梯度下降法和poly學習率更新策略，對建立的圖像語義分割網絡模型進行訓練，以得到所述預設的圖像語義分割網絡模型。

進一步地，所述獲取多個帶有確定的語義標簽的樣本圖像之后，還包括：對樣本圖像進行圖像擴張處理；所述圖像擴增處理的方式包括，圖像水平鏡像、圖像尺度隨機放縮和圖像尺寸隨機裁剪。