[發明專利]基于深度學習的路面標識感知方法

在審

• 申請號: 202211494806.1
• 申請日: 2022-11-26
• 公開（公告）號: CN115830556A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 潘國峰
• 申請（專利權）人: 深圳億嘉和科技研發有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/26;G06V10/764;G06V10/766;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 梁天彥

1.一種基于深度學習的路面標識感知方法，其特征在于，包括以下步驟：

步驟一：將高清可見光攝像頭拍攝的圖像進行預處理，得到神經網絡的輸入格式I_i，然后通過共享卷積神經網絡獲得高維特征值O_s，將高維特征值O_s復制三份分別為O_s1,O_s2,O_s3，其中共享卷積神經網絡的網絡任務頭分三部分，包括道路分割頭網絡、車道線分割頭網絡和路面標識檢測頭網絡；

步驟二：將步驟一中高維特征值O_s1,O_s2,O_s3分別輸入道路分割頭網絡、車道線分割頭網絡和路面標識檢測頭網絡，然后分別輸出道路分割結果o_road-mask、車道線分割結果o_line-mask和路面標識檢測框O_bbox；

步驟三：判斷車道線分類標志位；如果為1則對車道線進行分類，將步驟二中的o_line-mask進行各車道線mask分離、圖像尺度縮放得到車道線分類網絡的輸入特征I_line；然后通過預設的車道線分類網絡，得到車道線類別，最后將車道線類別附加到各分割mask中得到O_i-line-mask；反之不進行車道線分類，直接輸出車道線O_line-mask；

步驟四：判斷提取路面標識輪廓標志位；如果為1則對路面標識輪廓進行前背景分割，將步驟二中的O_bbox每一個目標區域進行裁剪獲得基于目標的前背景圖像，進行尺度縮放得到路面標識前背景分割網絡的輸入I_bbox；然后通過預設的前背景分割網絡得到路面標識O_bbox-mask；最后將各路面標識映射到原圖中得到O_i-bbox-mask；反之不進行路面標識輪廓提取,直接輸出路面標識檢測框O_bbox；

步驟五：多任務結果融合模塊；如果屬于地圖重建或地圖更新工作，即車道線分類標志位和路面標識輪廓標志位都為1，將步驟二中輸出的O_road-mask、步驟三中輸出的O_i-line-mask、步驟四中輸出的O_i-bbox-mask進行像素級融合,輸出結果為路面地圖要素輸出結果；如果屬于實時感知工作，即車道線分類標志位和路面標識輪廓標志位都為0，將步驟二中輸出的O_road-mask、步驟三中輸出的O_line-mask、步驟四中輸出的O_bbox進行bbox和mask融合，輸出結果為路面感知結果輸出。

2.根據權利要求1所述的基于深度學習的路面標識感知方法，其特征在于：步驟一所述共享卷積神經網絡訓練過程包括訓練數據處理、網絡設計優化、共享特征提取和特征提取融合；

訓練數據處理：首先通過無人車抓拍正常光線下的可見光圖像進行圖像標注，標注內容包括道路和車道線像素級標注、路面標識、目標檢測框標注，標注數據標準化格式為coco數據集格式；

網絡設計優化：將可見光圖像中的道路和車道線進行像素級分割、路面標識進行目標檢測，得到路面和車道線mask、路面標識bbox；

共享特征提?。翰捎胷esnet-34框架，在網絡第三層和第四層網絡結構中分別采用了不同擴張率的空洞卷積；

特征提取融合：采用大小不同的空間金字塔池化層來提取特征，將一張特征圖輸入到不同的空間金字塔池化層中進行最大池化處理。

3.根據權利要求1或2所述的基于深度學習的路面標識感知方法，其特征在于：步驟一所述共享卷積神經網絡中，道路分割頭網絡和車道線分割頭網絡由反卷積層和激活層組成，最后接一個sigmod激活函數，卷積層共有6層，反卷積層共有3層；路面標識檢測頭網絡采用多層特征融合的結構，通過concat層融合SPP不同層特征，，然后通過卷積層和全連接層網絡，得到目標檢測回歸結果。