[發明專利]基于深度學習的路面標識感知方法

在審

• 申請號: 202211494806.1
• 申請日: 2022-11-26
• 公開（公告）號: CN115830556A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 潘國峰
• 申請（專利權）人: 深圳億嘉和科技研發有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/26;G06V10/764;G06V10/766;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 梁天彥

本發明提供了一種基于深度學習的路面標識感知方法，先將高清可見光攝像頭拍攝的圖像進行預處理，然后通過共享卷積神經網絡獲得高維特征值，共享卷積神經網絡的網絡任務頭分為道路分割頭網絡、車道線分割頭網絡和路面標識檢測頭網絡，將高維特征值分別輸入三個網絡中，判斷車道線分類標志位，判斷提取路面標識輪廓標志位，最后將多任務融合，輸出感知結果。本發明能夠通過設計的融合網絡將相機拍攝的RGB圖像作為輸入，通過網絡提取深度特征，然后通過多任務框架輸出路面要素mask和相應的類別，可以避免簡單任務的冗余計算，也可以通過配置開關輸出完整的路面感知分割mask。

技術領域

本發明涉及車道線識別技術領域，具體是一種基于深度學習的路面標識感知方法。

背景技術

目前，隨著深度學習的快速發展與完善，自動駕駛技術取得了巨大的進步，基于多傳感器融合的環境感知系統也得到廣泛的運用，例如自動駕駛車、自動導航定位機器人和無人物流等領域。其中基于視覺感知模塊和高精地圖定位模塊是環境感知系統中最重要的技術，視覺能夠獲取較多的環境信息，從而進行各項視覺任務，視覺感知模塊和高精地圖定位模塊是自動駕駛技術中最核心的技術模塊，例如可行駛區域分割、車道線檢測、路面其他交通標識的檢測等技術模型的應用。

然而，路面分割、車道線檢測和其它標識識別涉及到目標分類、目標檢測和語義分割三大視覺任務，三大視覺任務中的特征提取模塊直接影響整個感知模塊的實時行感知。是否能夠尋找一種方法可將針對上訴情況不同視覺任務進行共享學習即多任務學習，成為提升模型性能的關鍵；此外對于自動駕駛中的車道線，不僅要檢測出車道線，還需要知道車道線的類別(比如單黃實線、雙黃實線、單實線等)；針對目前路面其它標識識別主要采用的方法為語義分割方法，然而考慮到感知模塊的實時性和吞吐量的原因，是否可以采取一種更高效的方法對路面其它標識(轉向箭頭、減速帶等)進行像素級的識別和分類。

申請號為：CN202111501632.2的中國專利提供了一種車道線識別方法、系統、介質、設備及信息處理終端，該申請中提出了采用自研的多任務視覺網絡對路面要素進行語義分割和任務感知，然而該申請中缺少對車道線分類模塊和路面其它標識的像素級分割。

發明內容

本發明為了解決現有技術的問題，提供了一種基于深度學習的路面標識感知方法，能夠通過設計的融合網絡將相機拍攝的RGB圖像作為輸入，通過網絡提取深度特征，然后通過多任務框架輸出路面要素mask和相應的類別。

本發明提供了一種基于深度學習的路面標識感知方法，包括以下步驟：

步驟一：將高清可見光攝像頭拍攝的圖像進行預處理，得到神經網絡的輸入格式I_i，然后通過共享卷積神經網絡獲得高維特征值O_s，將高維特征值O_s復制三份分別為O_s1,O_s2,O_s3，其中共享卷積神經網絡的網絡任務頭分三部分，包括道路分割頭網絡、車道線分割頭網絡和路面標識檢測頭網絡；

步驟二：將步驟一中高維特征值O_s1,O_s2,O_s3分別輸入道路分割頭網絡、車道線分割頭網絡和路面標識檢測頭網絡，然后分別輸出道路分割結果o_road-mask、車道線分割結果o_line-mask和路面標識檢測框O_bbox；

步驟三：判斷車道線分類標志位；如果為1則對車道線進行分類，將步驟二中的o_line-mask進行各車道線mask分離、圖像尺度縮放得到車道線分類網絡的輸入特征I_line；然后通過預設的車道線分類網絡，得到車道線類別，最后將車道線類別附加到各分割mask中得到O_i-line-mask；反之不進行車道線分類，直接輸出車道線O_line-mask；