[發明專利]基于深度全卷積網絡和條件隨機場的圖像語義分割方法

有效

• 申請號: 201810085381.6
• 申請日: 2018-01-29
• 公開（公告）號: CN108062756B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 崔少國;王勇
• 申請（專利權）人: 重慶理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62
• 代理公司: 重慶信航知識產權代理有限公司 50218
• 代理人: 穆祥維

本發明提供一種基于深度全卷積網絡和條件隨機場的圖像語義分割方法，包括步驟：深度全卷積語義分割網絡模型搭建，基于全連接條件隨機場的像素標簽結構化預測，模型訓練與參數學習和圖像語義分割。本申請在深度全卷積網絡中引入膨脹卷積和空間金字塔池化模塊，并對深度全卷積網絡輸出的標簽預測圖使用條件隨機場進一步修正，膨脹卷積擴大感受野的同時確保特征圖分辨率不變，空間金字塔池化模塊從卷積局部特征圖提取不同尺度區域上下文特征，為標簽預測提供不同對象之間相互關系及對象與不同尺度區域特征之間聯系，全連接條件隨機場根據像素強度和位置的特征相似性對像素標簽進一步優化，從而產生分辨率高、邊界精確、空間連續性好的語義分割圖。

技術領域

本發明涉及圖像理解技術領域，具體涉及一種基于深度全卷積網絡和條件隨機場的圖像語義分割方法。

背景技術

圖像語義分割是根據像素的語義對圖像像素進行標注形成不同分割區域。語義分割是圖像理解的基石性技術，在自動駕駛系統的街景識別與理解、無人機著陸點判斷、醫學圖像的病灶識別與定位中具有舉足輕重的作用。

深度學習技術的出現，使圖像語義分割性能較之傳統方法有了顯著提升。使用深度卷積神經網絡在大數據集上進行有監督學習是當前圖像語義分割的主流方法。輸入待分割圖像，采用連續的卷積和下采樣操作來逐級提取圖像特征，然后利用最后特征對圖像像素進行分類。然而，基于深度學習技術的圖像語義分割方法中連續的卷積和下采樣操作將使特征圖不斷減小，位置細節信息不斷丟失，從而導致分割圖分辨率較低，分割邊界定位困難，分割圖粗糙。另外，在基于深度卷積網絡的像素分類方法中，各像素類別標簽的預測是獨立進行，缺少先驗知識和結構約束，不鼓勵特征相似像素產生相同的分類標簽，易產生孤立的誤分類區域。另外，當語義分割的類別較多時，由于對象與對像之間、對象與背景之間缺少上下文關系，外觀相似的對象在分類時極易產生混淆，當對象尺寸較小時很難發現，對象尺寸較大時可能超出感受野導致預測不連續。

發明內容

針對現有方法存在的問題，本發明提供一種基于深度全卷積網絡和條件隨機場的圖像語義分割方法，該方法在深度全卷積網絡中引入膨脹卷積和空間金字塔池化模塊，并對深度全卷積網絡輸出的標簽預測圖使用條件隨機場進一步修正；膨脹卷積擴大感受野的同時確保特征圖分辨率不變；空間金字塔池化模塊從卷積局部特征圖提取不同尺度區域上下文特征，為標簽預測提供不同對象之間相互關系及對象與不同尺度區域特征之間聯系；全連接條件隨機場根據像素強度和位置的特征相似性對像素標簽進一步優化，從而產生分辨率高、邊界精確、空間連續性好的語義分割圖。

為了解決上述技術問題，本發明采用了如下的技術方案：

一種基于深度全卷積網絡和條件隨機場的圖像語義分割方法，包括以下步驟：

S1、深度全卷積語義分割網絡模型搭建：

S11、深度全卷積語義分割網絡模型包括特征提取模塊、金字塔池化模塊和像素標簽預測模塊，所述特征提取模塊通過對輸入圖像進行卷積、最大池化和膨脹卷積操作，提取圖像局部特征；所述金字塔池化模塊對卷積局部特征進行不同尺度空間池化，提取不同尺度區域上下文特征；所述像素標簽預測模塊利用卷積局部特征，結合不同尺度區域上下文特征來對像素類別進行預測；