[發明專利]基于多任務學習神經網絡的道路場景識別方法和系統

在審

• 申請號: 202011060853.6
• 申請日: 2020-09-30
• 公開（公告）號: CN112183395A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 陳海波;武玉琪
• 申請（專利權）人: 深蘭人工智能（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種基于多任務學習神經網絡的道路場景識別方法，其特征在于，包括以下步驟：

獲取所述道路場景的圖像信息；

對所述圖像信息分別進行語義分割和目標檢測標注以得到訓練數據集；

對所述訓練數據集進行數據增強處理；

構建所述多任務學習神經網絡；

根據增強處理后的所述訓練數據集對所述多任務學習神經網絡進行訓練；

根據訓練后的所述多任務學習神經網絡對所述道路場景圖像進行目標檢測和語義分割。

2.根據權利要求1所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，所述多任務學習神經網絡包括主干網絡、語義分割網絡和目標檢測網絡，其中，所述語義分割網絡和所述目標檢測網絡分別與所述主干網絡相連。

3.根據權利要求2所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，所述語義分割網絡包括第一卷積層、第二卷積層、第一激活層、歸一化層和上采樣層，其中，所述第一卷積層分別與所述主干網絡和所述第一激活層相連，所述第一激活層通過所述歸一化層連接到所述上采樣層，所述上采樣層與所述第二卷積層相連。

4.根據權利要求3所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，所述目標檢測網絡包括第三卷積層、第四卷積層、第五卷積層、第六卷積層、第二激活層、第三激活層和解碼層，其中，所述第三卷積層和所述第四卷積層分別與所述主干網絡相連，所述第五卷積層和所述第六卷積層分別與所述解碼層相連，所述第二激活層分別與所述第三卷積層和所述第五卷積層相連，所述第三激活層分別與所述第四卷積層和所述第六卷積層相連。

5.根據權利要求4所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，所述主干網絡為CenterNet-DLA34。

6.根據權利要求5所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，所述第一激活層、所述第二激活層和所述第三激活層均為非線性響應單元。

7.根據權利要求2所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，對所述訓練數據集進行數據增強處理，包括以下步驟：

設定多種數據增強處理方法，所述方法包括中值濾波、圖像銳化、旋轉、鏡像、亮度調整；

對所述中值濾波、所述圖像銳化、所述旋轉、所述鏡像、所述亮度調整進行隨機組合；

根據隨機組合后的方法對所述訓練數據集進行數據增強處理。

8.根據權利要求2所述的基于多任務學習神經網絡的道路場景識別方法，其特征在于，根據增強處理后的所述訓練數據集對所述多任務學習神經網絡進行訓練，包括采用隨機梯度下降法對所述多任務學習神經網絡進行訓練。

9.一種基于多任務學習神經網絡的道路場景識別系統，其特征在于，包括：

獲取模塊，所述獲取模塊用于獲取所述道路場景的圖像信息；

標注模塊，所述標注模塊用于對所述圖像信息分別進行語義分割和目標檢測標注以得到訓練數據集；

數據增強模塊，所述數據增強模塊用于對所述訓練數據集進行數據增強處理；

網絡構建模塊，所述網絡構建模塊用于構建所述多任務學習神經網絡；

網絡訓練模塊，所述網絡訓練模塊用于根據增強處理后的所述訓練數據集對所述多任務學習神經網絡進行訓練；

識別模塊，所述識別模塊用于根據訓練后的所述多任務學習神經網絡對所述道路場景圖像進行目標檢測和語義分割。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時，實現根據權利要求1-8中任一項所述的基于多任務學習神經網絡的道路場景識別方法。