[發明專利]基于多任務監督的無人駕駛實時道路場景語義分割方法

在審

• 申請號: 202110017471.3
• 申請日: 2021-01-07
• 公開（公告）號: CN112699889A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 周武杰;林鑫楊;錢小鴻;萬健;甘興利;葉寧
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/08
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 周新楣

1.一種基于多任務監督的無人駕駛實時道路場景語義分割方法，其特征在于，具體步驟包括：

選取Q幅原始道路場景圖像的彩色圖像、熱力圖像和對應的真實前景背景圖、真實語義分割圖、真實邊界圖，構成訓練集；

構建卷積神經網絡，所述卷積神經網絡使用MobileNetV2輕量級網絡作為特征提取器，并使用改進的高效空洞空間特征金字塔結構提取圖像深層次語義特征，使用密集連接結構對多層次特征進行融合；

將所述訓練集中原始道路場景圖像的彩色圖像、熱力圖像作為原始輸入圖像，輸入到所述卷積神經網絡中進行訓練，得到對應的前景背景預測圖、語義分割預測圖和邊界預測圖；

計算訓練得到的前景背景預測圖、語義分割預測圖、邊界預測圖和對應的真實前景背景圖、真實語義分割圖、真實邊界圖之間的損失函數值；

重復訓練并計算損失函數值，將最后一次訓練結果確定為最終權值矢量和最終偏置項。

2.根據權利要求1所述的一種基于多任務監督的無人駕駛實時道路場景語義分割方法，其特征在于，所述Q幅原始道路場景圖像選用MFNet中報告的道路場景圖像數據庫中的圖像。

3.根據權利要求1所述的一種基于多任務監督的無人駕駛實時道路場景語義分割方法，其特征在于，所述卷積神經網絡包括輸入層、特征提取層、特征融合層和多任務輸出層；

所述輸入層包括彩色圖像輸入層和熱力圖像輸入層，分別輸入彩色圖像和熱力圖像；

所述特征提取層對彩色圖像和熱力圖像進行逐層特征提取，并提取圖像深層次語義特征；

所述特征融合層使用密集連接結構對多層次特征進行融合；

所述多任務輸出層輸出前景背景預測圖、語義分割預測圖和邊界預測圖。

4.根據權利要求1所述的一種基于多任務監督的無人駕駛實時道路場景語義分割方法，其特征在于，所述MobileNetV2輕量級網絡去掉最后的兩個逆殘差結構和分類層，將剩余部分劃分成3個Block，其中彩色圖像輸入分支對應的結構分別為R_Blocki,i＝1,2,3，熱力圖像輸入分支對應結構分別為T_Blocki,i＝1,2,3。

5.根據權利要求4所述的一種基于多任務監督的無人駕駛實時道路場景語義分割方法，其特征在于，所述熱力圖像輸入分支每個模塊的輸出結果與所述彩色圖像輸入分支每個模塊的輸出結果通過對應特征相加進行融合。

6.根據權利要求1所述的一種基于多任務監督的無人駕駛實時道路場景語義分割方法，其特征在于，所述密集連接結構中包含融合上采樣模塊，所述融合上采樣模塊包括一個1×1卷積層、批歸一化層和ReLU6激活函數，一個兩倍上采樣層，一個3×3深度卷積層、批歸一化層和ReLU6激活函數，一個1×1卷積層、批歸一化層。