[發明專利]一種基于多監督網絡的道路場景圖像語義分割方法

在審

• 申請號: 202110823118.4
• 申請日: 2021-07-21
• 公開（公告）號: CN113362349A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 周武杰;董少華;強芳芳;許彩娥
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于多監督網絡的道路場景圖像語義分割方法。本發明包括訓練階段和測試階段兩個過程；包括：選取多幅原始道路場景RGB圖像和對應的原始Thermal熱紅外圖像以及真實語義分割圖像，對圖像預處理后構成訓練集；構建卷積神經網絡；將訓練集輸入到卷積神經網絡中進行訓練，卷積神經網絡輸出七個預測圖集合；計算最終損失值；重復上述步驟多次，獲得卷積神經網絡分類訓練模型；輸入多幅待語義分割的原始道路場景RGB圖像和原始Thermal熱紅外圖像，獲得對應的語義分割預測圖。本發明提高了RGB?T道路場景圖像的語義分割效率和準確度。

技術領域

本發明涉及了一種基于深度學習的道路場景語義分割方法，具體是涉及了一種基于多監督網絡的道路場景圖像語義分割方法。

背景技術

隨著無人駕駛，場景理解，虛擬現實等技術的興起，圖像的語義分割逐漸成為計算機視覺及機器學習研究人員的研究熱點，從交通場景理解和多目標障礙檢測到視覺導航都可借由語義分割技術實現。目前，最常用的語義分割方法包括支持向量機、隨機森林等算法。這些算法主要集中在二分類任務上，用于檢測和識別特定物體，如道路表面、車輛和行人。這些傳統的機器學習方法往往需要通過高復雜度的特征來實現，而使用深度學習來對交通場景進行語義分割簡單方便，更重要的是，深度學習的應用極大地提高了圖像像素級分類任務的精度。

采用深度學習的語義分割方法，直接進行像素級別端到端(end-to-end)的語義分割，其只需要將訓練集中的圖像輸入進模型框架中訓練，得到權重與模型，即可在測試集進行預測。卷積神經網絡的強大之處在于它的多層結構能自動學習特征，并且可以學習到多個層次的特征。目前，基于深度學習語義分割的方法分為兩種，第一種是編碼-譯碼架構。編碼過程通過池化層逐漸減少位置信息、抽取抽象特征；譯碼過程逐漸恢復位置信息。一般譯碼與編碼間有直接的連接。第二種架構是帶孔卷積(dilated convolutions)，拋棄了池化層，通過帶孔卷積的方式擴大感知域，較小值的帶孔卷積感知域較小，學習到一些部分具體的特征；較大值的帶孔卷積層具有較大的感知域，能夠學習到更加抽象的特征，這些抽象的特征對物體的大小、位置和方向等魯棒性更好。

現有的道路場景語義分割方法大多采用深度學習的方法，利用卷積層與池化層相結合的模型較多，然而單純利用池化操作與卷積操作獲得的特征圖單一且不具有代表性，從而會導致得到的圖像的特征信息減少，最終導致還原的效果信息比較粗糙，分割精度低。

發明內容

本發明所要解決的技術問題是提供一種基于多監督網絡的道路場景圖像語義分割方法，其分割效率高，且分割準確度高。

本發明解決上述技術問題所采用的技術方案為：一種基于多監督網絡的道路場景圖像語義分割方法，方法包括訓練階段和測試階段兩個過程；所述的訓練階段過程的具體步驟為：

所述的訓練階段過程的具體步驟為：

步驟1_1：選取多幅原始道路場景RGB圖像和對應的原始Thermal熱紅外圖像以及真實語義分割圖像，將每幅原始道路場景RGB圖像和原始Thermal熱紅外圖像分別通過裁剪、明亮度、翻轉方式進行數據增強之后獲得初始道路場景RGB圖像和初始Thermal熱紅外圖像，由多幅初始道路場景RGB圖像和初始Thermal熱紅外圖像以及對應的真實語義分割圖像構成訓練集；

步驟1_2：構建卷積神經網絡；

步驟1_3：將訓練集輸入到卷積神經網絡中進行訓練，卷積神經網絡輸出訓練集中的每幅原始道路場景RGB圖像對應的七個預測圖集合；

步驟1_4：將每幅原始道路場景RGB圖像對應的真實語義分割圖像處理成9幅獨熱編碼圖像并將9幅獨熱編碼圖像的集合記為Jtrue，分別計算9幅獨熱編碼圖像的集合Jtrue與對應的七個預測圖集合之間的損失函數值，將七個損失函數值之和作為最終損失值；