[發明專利]一種面向自動駕駛的實時語義分割方法及系統

在審

• 申請號: 202010314054.0
• 申請日: 2020-04-20
• 公開（公告）號: CN111462127A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 金偉正;蔡凌云
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

1.一種面向自動駕駛的實時語義分割方法，其特征在于，采用三分支結構網絡，所述三分支結構網絡分別輸入同一張但具有不同分辨率的圖像，所述三分支結構網絡分別輸出具有不同維度的特征圖，三個具有不同維度的特征圖通過逐級融合后得到最終語義分割結果信息。

2.根據權利要求1所述的面向自動駕駛的實時語義分割方法，其特征在于，不同維度的特征圖進行融合時，圖像語義分割算法模型包括監督損失計算；

所述監督損失計算為將標簽圖像縮放到與每一分支的特征圖同等維度，利用縮放后的標簽圖像與1*1卷積分類之后的特征圖通過歸一化指數函數Softmax進行交叉熵損失函數的計算；

三分支結構網絡的總損失值表示為：

Loss＝α₁L₁+α₂L₂+α₃L₃

式中，Loss是總損失值；α₁、α₂、α₃是三分支分別對應的三個調節權重；L₁、L₂、L₃是三分支分別對應的三個不同維度特征的損失值。

3.根據權利要求2所述的面向自動駕駛的實時語義分割方法，其特征在于，所述交叉熵損失函數采用抑制性交叉熵損失函數；所述抑制性交叉熵損失函數的定義為：

式中，S_i是歸一化指數函數Softmax的輸出概率值；μ和γ是參量；L_ICEloss是抑制性交叉熵損失函數值。

4.根據權利要求1所述的面向自動駕駛的實時語義分割方法，其特征在于，所述三分支結構網絡包括下分支、中分支、上分支，所述下分支輸入具有原始分辨率的圖像，所述中分支輸入具有原始分辨率1/2的圖像，所述上分支輸入具有原始分辨率1/4的圖像；

所述下分支的輸入圖像經過下采樣模塊后得到具有原始分辨率1/8的圖像，記為第一圖像，所述第一圖像為具有低維特征的特征圖；

所述中分支的輸入圖像經過下采樣模塊后得到具有原始分辨率1/4的圖像，記為第二圖像；所述第二圖像經過卷積層模塊后得到具有原始分辨率1/16的圖像，記為第三圖像，所述第三圖像為具有中間層特征的特征圖；

所述上分支的輸入圖像經過下采樣模塊后得到具有原始分辨率1/8的圖像，記為第四圖像；所述第四圖像經過卷積層模塊與空洞卷積后得到具有原始分辨率1/32的圖像，記為第五圖像，所述第五圖像為具有高維特征的特征圖。

5.根據權利要求4所述的面向自動駕駛的實時語義分割方法，其特征在于，所述下采樣模塊用于將輸入圖像分為兩路，一路經過步長為2的卷積層進行下采樣，另一路經過2*2池化來下采樣，兩路的輸出結果通過拼接、1*1卷積后實現融合。

6.根據權利要求4所述的面向自動駕駛的實時語義分割方法，其特征在于，所述第五圖像經過第一PSP模塊處理后作為第一高維特征圖，所述第三圖像作為第一低維特征圖，所述第一低維特征圖與所述第一高維特征圖分別輸入至第一融合模塊中，所述第一融合模塊輸出第一融合特征圖，所述第一融合特征圖為具有原始分辨率1/16的圖像；

所述第一融合特征圖經過第二PSP模塊處理后作為第二高維特征圖，所述第一圖像作為第二低維特征圖，所述第二低維特征圖與所述第二高維特征圖分別輸入至第二融合模塊中，所述第二融合模塊輸出第二融合特征圖，所述第二融合特征圖為具有原始分辨率1/8的圖像。

所述第二融合特征圖經過第三PSP模塊處理后得到最終融合特征圖。

7.根據權利要求6所述的面向自動駕駛的實時語義分割方法，其特征在于，所述最終融合特征圖經過后處理模塊后得到最終語義分割結果信息，所述最終語義分割結果信息中的不同物體類別用不同顏色進行標注。