[發明專利]基于深度學習的圖像語義分割方法

有效

• 申請號: 201811646148.7
• 申請日: 2018-12-30
• 公開（公告）號: CN109711413B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 郭敏;丁曉;馬苗;陳昱蒞;裴炤
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/26;G06V10/774;G06V10/776;G06V10/80;G06V10/82;G06V10/764;G06V10/44;G06N3/0464;G06N3/045;G06N3/0442;G06N3/084
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 郝燕燕

一種基于深度學習的圖像語義分割方法，由數據集處理、構建深度語義分割網絡、深度語義分割網絡訓練及參數學習、對測試圖像進行語義分割四部分組成。本發明將輸入圖像的RGB圖像和灰度圖像作為網絡模型的輸入，充分利用灰度圖像的邊緣信息，有效增加輸入特征的豐富程度；把卷積神經網絡和雙向門限遞歸單元相結合，在學習圖像局部特征的基礎上，捕獲更多的上下文依賴關系和全局特征信息；通過第一坐標通道模塊和第二坐標通道模塊對特征圖加入坐標信息，豐富模型的坐標特征，提升模型的泛化能力，產生分辨率高、邊界精確的語義分割結果。

技術領域

本發明屬于計算機視覺與深度學習技術領域，具體涉及一種基于深度學習的圖像語義分割方法。

背景技術

圖像語義分割是從像素水平上，理解、識別圖片的內容，其目的是建立每個像素和語義類別之間的一一映射關系，根據語義信息進行分割，其被廣泛應用于場景理解、自動駕駛、醫學影像分析、機器人視覺等領域。圖像語義分割是圖像理解的基石，其分割結果的好壞將直接影響對后續圖像內容的處理，因此，對圖像語義分割技術的研究具有非常重要的現實意義。

傳統的圖像語義分割方法大多依賴于手工特征提取和概率圖模型，如：隨機森林、條件隨機場(CRF)、馬爾科夫隨機場(MRF)等，這些方法只能學習淺層的表征信息，不能產生準確精細的分割結果。2012年以來，隨著深度學習的快速發展，基于卷積神經網絡的圖像語義分割方法成為了研究熱點。2014年，Hariharan?等人提出了協同目標檢測和語義分割的SDS(simultaneous?detection?and?segmentation)方法，該方法首先使用MCG方法抽取每幅圖像中多個候選區域，然后分兩路使用CNN提取邊界框(bounding-box)特征和前景區域特征，并完成兩路特征的信息融合，最后，利用非最大約束NMS(non-maximum?suppression)方法生成語義分割結果。除了SDS方法，類似的還有R-CNN、SPP等方法，都是基于候選區域的語義分割方法，但這類方法依賴于大量的區域建議，導致內存消耗非常大，訓練時間比較長，得到的語義分割結果精度低。

為了進一步降低內存開銷，提升語義分割精度。2015年，Long等人提出了全卷積網絡模型FCN(fully?convolutional?networks)，該模型將深度卷積神經網路最后的全連接層全部轉換成卷積層，形成端到端、像素到像素的全卷積網絡框架，使圖像語義分割進入了一個全新的時代。Kendall等人提出了一種深度卷積編碼－解碼架構SegNet，該模型由一個卷積編碼網絡和一個反卷積解碼網絡組成，每一個編碼器層都對應一個解碼器層，最終編碼器的輸出被送入soft-max分類器進行逐像素分類。Chen等人在FCN的基礎上，提出了一個更加成熟的語義分割模型Deeplab-CRF，該模型采用優化后的DCNN(深度卷積神經網絡)得到粗糙得分圖并通過雙線性插值上采樣到原圖像大小，然后使用全連接條件隨機場(CRF)進行迭代優化，得到精細的語義分割結果。

上述語義分割方法的缺點：其一，模型輸入一般為RGB圖像，輸入過于單一，可能會導致局部特征缺失；其二，這些方法都是基于卷積神經網絡來進行特征提取的，沒有充分利用圖像的局部特征信息和全局上下文依賴關系，導致圖像的分割邊緣非常粗糙，分割精度非常低。

發明內容

本發明所要解決的技術問題在于克服現有方法的缺陷，提供一種分割精度高、泛化能力強的基于深度學習的圖像語義分割方法。

解決上述技術問題所采用的技術方案包括下述步驟：

S1、數據集處理

將圖像數據集分為訓練圖像集和測試圖像集，并對訓練圖像集進行數據增強操作，將訓練圖像的數量增加到萬級單位；

S2、構建深度語義分割網絡