[發明專利]一種基于深度學習的視覺多任務處理方法

在審

• 申請號: 202211515937.3
• 申請日: 2022-11-30
• 公開（公告）號: CN115909245A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 祝裕昌;肖南峰
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開一種基于深度學習的視覺多任務處理方法，包括：搭建視覺多任務處理神經網絡模型；針對三個不同任務解碼器設計損失函數；對數據集進行預處理與增強操作；調整訓練參數，訓練視覺多任務神經網絡模型；輸入RGB圖像檢測；本方法創新地將多個任務融合到一個神經網絡當中可完成目標檢測、可行駛區域檢測和車道線檢測三個任務，使得同樣完成三個任務的時間大大縮短，并且各個解碼器之間可以使用一個共享特征的編碼器，使得特征利用率大大提高；本方法創新地在定位損失使用了CIoU回歸定位損失，考慮了邊界框重疊面積、中心距離和長寬比因素，使神經網絡模型訓練時更能夠反饋邊界框定位準確性；本方法具有實際推廣價值與應用價值。

技術領域

本發明涉及自動駕駛中多任務處理的技術領域，尤其是指一種基于深度學習的視覺多任務處理方法。

背景技術

自動駕駛的駕駛環境感知系統非常重要，因為它可以從RGB攝像頭、深度攝像頭和紅外攝像頭等設備中獲取視覺信息，可以作為車輛自動駕駛決策的參考輸入信息。為了車輛具有智能駕駛能力，視覺感知系統要求能夠獲取外界信息并理解場景，向決策系統提供的信息包括：行人車輛障礙物的檢測、可行駛區域判斷、車道線等信息。駕駛感知系統包括目標檢測，幫助車輛識別行人車輛障礙物，安全行駛，遵守交通規則。可駕駛區域分割和車道檢測也需要進行，因為它們是規劃車輛駕駛路線的關鍵。

在自動駕駛領域中，檢測車輛、車道行人等的目標檢測算法擁有了非常大的進步，并且，自動駕駛系統中車道檢測和車道線同樣發展迅速。通過上面提到的這些技術，可以定位車輛之間的位置，可以確定車輛周圍可行區域，確保行駛車輛的安全性。以往通常這幾項任務都是分開處理，即目標檢測、可行駛區域檢測和車道線檢測等多項任務是互不關聯的。同時完成這三項任務最經典的方法是，使用Faster?R-CNN和YOLOv4算法處理目標檢測任務，使用ENet和PSPNet算法來處理可行駛區域分割檢測任務，使用SCNN和SADENet算法處理車道線檢測任務。盡管以上方法在單一任務的處理中表現非常優秀，包括速度與精度都非常優秀。但是，實際自動駕駛系統中運用并不僅僅需要處理單一的視覺任務，若需要完成目標檢測、可行駛區域檢測和車道線檢測這三項任務，那么需要執行三項任務，需要花費三個時間來處理三個任務，顯然對于速度要求極高的自動駕駛任務是不能接受的。自動駕駛中嵌入式設備上部署駕駛感知系統時，需要考慮有限的功耗、算力和延遲。在自動駕駛環境感知中，往往不同任務都有很多互相關聯的信息，這部分信息可以用于共享。視覺多任務神經網絡適合于這種情況，因為它可以一個網絡主體實現多個任務處理，不需要分開多項串行或者并行多個神經網絡任務處理。并且由于視覺多任務神經網絡可以共享相同的特征提取主干，多個任務之間可以共享信息，多個模型合并到一個視覺多任務神經網絡模型中，大量減少冗余的參數，大量減少算力的需求，并在多個任務上都能取得較優秀的結果。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于深度學習的視覺多任務處理方法，可以同時完成目標檢測任務、可行駛區域檢測任務和車道線檢測任務。

為實現上述目的，本發明所提供的技術方案為：一種基于深度學習的視覺多任務處理方法，該方法是利用一個基于深度學習的視覺多任務處理神經網絡模型同時完成車輛自動駕駛中需要的多任務視覺處理，包括目標檢測任務、可行駛區域檢測任務和車道線檢測任務，其中，該視覺多任務處理神經網絡模型由輸入層、共享特征編碼器、瓶頸模塊和三個針對不同任務的解碼器組成，解碼器之間與相似的任務共享特征映射，實現聯合語義理解，并且用于目標檢測任務的解碼器使用CIoU衡量損失值；

該視覺多任務處理方法的具體實施包括以下步驟：

S1、獲取數據集并進行預處理，包括：對數據集進行縮放操作以滿足視覺多任務處理神經網絡模型的輸入要求，對數據集進行增強操作，對數據集進行風格轉換以更好地模擬實際惡劣駕駛天氣環境；將預處理后的數據集劃分為訓練集和測試集；