[發明專利]數據融合方法、裝置、無人駕駛設備和可讀存儲介質

有效

• 申請號: 202010195590.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111257882B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 郭彥杰;龐勃
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G01S13/933
• 分類號: G01S13/933;G01S13/937;G01S13/931;G01S13/86;G01S17/86;G01S17/93;G01S17/933;G01S17/931;G06T5/50
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

本申請公開了一種數據融合方法、裝置、無人駕駛設備和可讀存儲介質。其中方法包括：獲取相機的輸出數據和雷達的輸出數據，對相機的輸出數據進行預處理得到視覺點云，對雷達的輸出數據進行預處理得到雷達跟蹤點；根據視覺點云生成具有時間記憶性的三維概率柵格地圖，按照生命周期存儲雷達跟蹤點；將三維概率柵格地圖與存儲的雷達跟蹤點進行融合，生成二維直方圖，供無人駕駛決策單元使用。上述方案將相機和雷達獲取的數據轉化為三維概率柵格地圖和以生命周期存儲的跟蹤點，然后融合到二維直方圖中，簡化了融合方法，保留了地圖記憶，便于在無人駕駛場景下的檢索和使用。

技術領域

本申請涉及無人駕駛技術領域，具體涉及一種數據融合方法、裝置、無人駕駛設備和可讀存儲介質。

背景技術

無人機等無人駕駛設備在飛行過程中，需要激光雷達、毫米波雷達、單目相機、雙目相機以及飛行時間相機等外部傳感器完成環境的感知進而幫助實現飛行中的避障，而多傳感器數據的引入就涉及到數據融合的問題。多傳感器數據融合的難點在于需要根據不同傳感器的特性來設計不同的軟件算法。現有的融合方案都是在數據層完成對目標信息的匹配和融合，將障礙物的方位、大小以及速度等信息通過卡爾曼濾波的形式進行數據融合，并且在濾波時需要設定固定或分段的權重進行融合。

現有的融合方案的缺點包括：缺乏地圖記憶，不利于全局的規劃，現有的融合方案主要是在數據層面針對障礙物目標做實時的融合處理，導致無人駕駛設備在使用融合數據的時候出現局部性較強，航跡規劃偏向于局部最優解而陷于局部最優的狀態；采用卡爾曼濾波的形式進行數據融合時，權重調節依靠人工經驗，并不能科學合理地應對廣泛的應用場景。

發明內容

鑒于上述問題，提出了本申請以便提供一種克服上述問題或者至少部分地解決上述問題的數據融合方法、裝置、無人駕駛設備和可讀存儲介質。

依據本申請的一個方面，提供了一種數據融合方法，包括：

獲取相機的輸出數據和雷達的輸出數據，對相機的輸出數據進行預處理得到視覺點云，對雷達的輸出數據進行預處理得到雷達跟蹤點；

根據所述視覺點云生成具有時間記憶性的三維概率柵格地圖，按照生命周期存儲所述雷達跟蹤點；

將所述三維概率柵格地圖與存儲的所述雷達跟蹤點進行融合，生成二維直方圖，供無人駕駛決策單元使用。

可選地，所述相機的輸出數據包括相機的視差圖，所述雷達的輸出數據包括雷達的原始雷達點云，所述預處理包括濾波去噪處理。

可選地，所述根據所述視覺點云生成具有時間記憶性的三維概率柵格地圖包括：

根據貝葉斯公式和八叉樹地圖，將所述視覺點云轉化為三維概率柵格地圖。

可選地，所述按照生命周期存儲所述雷達跟蹤點包括：

根據所述雷達跟蹤點與所述原始雷達點云之間的距離，確定所述雷達跟蹤點的生命周期，然后按照所述生命周期存儲雷達跟蹤點，并清理生命周期已結束的雷達跟蹤點。

可選地，所述將所述三維概率柵格地圖與存儲的所述雷達跟蹤點進行融合，生成二維直方圖包括：

將所述三維概率柵格地圖和存儲的所述雷達跟蹤點分別按照無人駕駛設備的視場角投影到同一個二維直方圖，從而生成二維直方圖形式的融合數據。

可選地，所述二維直方圖為二維極坐標直方圖，所述二維極坐標直方圖是根據以所述無人駕駛設備為原點的三維極坐標系投影生成的，所述二維極坐標直方圖包括多個區塊，各區塊可分別標注有距離數據。

可選地，所述生成二維直方圖形式的融合數據包括：

根據相機的參數得到所述三維概率柵格地圖在所述三維極坐標系的位置，然后將所述三維概率柵格地圖投影到二維極坐標直方圖上；