[發明專利]一種用于自動駕駛的多傳感器融合車路協同感知方法

在審

• 申請號: 202210542331.2
• 申請日: 2022-05-18
• 公開（公告）號: CN114821507A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 王濤;李梅;郭林燕
• 申請（專利權）人: 中國地質大學（北京）
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/26;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06T7/10;G06T7/70;G01C21/16;G01S17/931;G01S19/49
• 代理公司: 北京華清科睿知識產權代理事務所(普通合伙) 11989
• 代理人: 朱紅濤

1.一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，包括：

數據增強模塊(1)，點云感知模塊(2)，圖像感知模塊(3)，多傳感器融合模塊(4)，V2X實時通信模塊(5)，選擇性彌補模塊(6)，基于SLAM與GPS/INS融合的定位模塊(7)；

利用數據增強模塊(1)在OPV2V公開數據集上進行數據增強處理；

通過多傳感器融合模塊(4)將點云感知模塊(2)中獲得的三維點云信息與圖像感知模塊(3)中獲得的二維圖像信息進行多模態融合，利用點云與圖像的互補特性，更加準確的感知周圍環境；

與此同時通過V2X實時通信模塊(5)與周圍環境中的車或者路共享感知信息；

并通過選擇性彌補模塊(6)有效彌補遮擋缺失信息，在保證提供有效信息的同時提高實時通信效率；

借助GNSS定位模塊(7)獲取周圍車輛的位置坐標，計算周圍車輛的實時運動速度，幫助自動駕駛車輛在復雜環境下做出更加準確的判斷。

2.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，數據增強模塊(1)在OPV2V公開數據集的基礎上采用了一種新型的數據增強方法，主要步驟是利用深度相機拍攝實體車輛和行人生成點云和圖像數據，按照點云和圖像數據中的對應坐標粘貼到的相應的位置，并去除遮擋，實現在OPV2V數據集中的點云和圖像數據聯合增強。

3.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，點云感知模塊(2)采用3D目標檢測網絡PointRCNN基于原始的點云數據直接進行特征提取和RPN操作，獲取點云的3D特征。

4.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，圖像感知模塊(3)通過2D語義分割和2D目標檢測算法獲取圖像的2D特征信息，包括：

采用2D語義分割網絡Mask R-CNN獲得圖像的2D語義特征，主要目的是借助RPN推薦網絡和FCN的網絡結構，利用卷積與反卷積構建端到端的網絡，對每一個像素分類，實現較好的分割效果；

采用2D目標檢測網絡CenterNet進行關鍵點估計來找到中心點，并回歸到其他目標屬性。

5.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，多傳感器融合模塊(4)采用預設的融合算法將權利要求3中所述的點云的3D特征和權利要求4中所述的圖像的2D語義特征進行融合，包括：

基于PointPainting的空間映射融合，利用PointPainting算法將語義分割之后得到的語義信息映射到三維點云中，實現初步融合；

基于Transformer的多模態特征融合，利用注意力機制來整合圖像和點云數據，捕捉全局的三維場景上下文，并專注于動態智能體和交通燈，實現增強融合。

6.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，V2X實時通信模塊(5)用于實時廣播該車輛周圍感知情況，其中該車輛的周圍感知情況包括該車輛感知到的周圍車輛或行人的位置信息，以及本車輛行駛狀態信息和位置軌跡信息；同時接收從其他車輛廣播的周圍感知情況以及路邊感知設備的周圍感知情況。

7.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，以及權利要求6所述的V2X實時通信模塊(5)，其特征在于，選擇性彌補模塊(6)可以有效地處理接收到的實時感知信息，對于來自周圍車輛的感知信息進行有效篩選，僅對能有效彌補本車輛感知缺失的信息進行接收，提高實時通信效率。

8.根據權利要求1所述的一種用于自動駕駛的多傳感器融合車路協同感知方法，其特征在于，基于SLAM與GPS/INS融合的定位模塊(7)，主要包括：基于SLAM的地圖輔助類定位方法和基于GPS與INS融合的全球定位方法；

基于SLAM的地圖輔助類定位方法，利用激光雷達觀測到的環境特征，確定當前車輛的位置以及當前觀測目標的位置；

基于GPS與INS融合的全球定位方法，將GPS設備輸出的主要信號和INS設備輸出的主要信號融合，確定車輛的位置信息。