[發明專利]一種面向自動駕駛的實時語義分割方法及系統

在審

• 申請號: 202010314054.0
• 申請日: 2020-04-20
• 公開（公告）號: CN111462127A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 金偉正;蔡凌云
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

本發明屬于圖像處理和計算機視覺技術領域，公開了一種面向自動駕駛的實時語義分割方法及系統，方法采用三分支結構網絡，三分支結構網絡分別輸入同一張但具有不同分辨率的圖像，三分支結構網絡分別輸出具有不同維度的特征圖，三個具有不同維度的特征圖通過逐級融合后得到最終語義分割結果信息；系統包括三分支結構網絡、融合模塊。本發明解決了現有技術中圖像語義分割算法存在網絡運行時間較長、自動駕駛場景中數據樣本種類之間嚴重不均衡的問題，使算法能夠在精度與運行時間之間達到有效的平衡。

技術領域

本發明涉及圖像處理和計算機視覺技術領域，尤其涉及一種面向自動駕駛的實時語義分割方法及系統。

背景技術

圖像語義分割是自動駕駛中一個基本的街景理解任務，但由于自動駕駛中場景更加復雜，自動駕駛中對于類別具有側重點以及模型的速度難以保證，導致模型本身訓練存在難度，進而影響精度。目前許多圖像語義分割算法在實驗室內裝有大型計算顯卡的PC機上尚且難以實時運行，更何況在自動駕駛的嵌入式平臺之上。即現有的圖像語義分割算法存在網絡運行時間較長以及自動駕駛場景中數據樣本種類之間嚴重不均衡的問題。因此，圖像語義分割算法模型的高效性與輕量性是目前圖像語義分割算法在自動駕駛中應用所面臨的最大困難。

隨著大數據時代的興起以及深度學習的飛速發展，圖像的語義分割的主流技術已經變為了以深度學習為基礎，涌現了很多圖像語義分割深度學習算法。通過對神經網絡的研究，人們發現很多經過優良設計的網絡結構可以在各個圖像領域都發揮強大的特征提取能力，如VGG、Inception、ResNet等。這些網絡提取的特征圖，可以應用到目標檢測、語義分割、目標跟蹤等各個圖像處理領域。

發明內容

本申請實施例通過提供一種面向自動駕駛的實時語義分割方法及系統，解決了現有技術中圖像語義分割算法存在網絡運行時間較長、自動駕駛場景中數據樣本種類之間嚴重不均衡的問題。

本申請實施例提供一種面向自動駕駛的實時語義分割方法，采用三分支結構網絡，所述三分支結構網絡分別輸入同一張但具有不同分辨率的圖像，所述三分支結構網絡分別輸出具有不同維度的特征圖，三個具有不同維度的特征圖通過逐級融合后得到最終語義分割結果信息。

優選的，不同維度的特征圖進行融合時，圖像語義分割算法模型包括監督損失計算；

所述監督損失計算為將標簽圖像縮放到與每一分支的特征圖同等維度，利用縮放后的標簽圖像與1*1卷積分類之后的特征圖通過歸一化指數函數Softmax進行交叉熵損失函數的計算；

三分支結構網絡的總損失值表示為：

Loss＝α₁L₁+α₂L₂+α₃L₃

式中，Loss是總損失值；α₁、α₂、α₃是三分支分別對應的三個調節權重；L₁、L₂、L₃是三分支分別對應的三個不同維度特征的損失值。

優選的，所述交叉熵損失函數采用抑制性交叉熵損失函數；所述抑制性交叉熵損失函數的定義為：

式中，S_i是歸一化指數函數Softmax的輸出概率值；μ和γ是參量；L_ICEloss是抑制性交叉熵損失函數值。

優選的，所述三分支結構網絡包括下分支、中分支、上分支，所述下分支輸入具有原始分辨率的圖像，所述中分支輸入具有原始分辨率1/2的圖像，所述上分支輸入具有原始分辨率1/4的圖像；

所述下分支的輸入圖像經過下采樣模塊后得到具有原始分辨率1/8的圖像，記為第一圖像，所述第一圖像為具有低維特征的特征圖；