[發明專利]一種基于互信息的自適應多傳感器數據融合方法及系統

有效

• 申請號: 202011156482.1
• 申請日: 2020-10-26
• 公開（公告）號: CN112270251B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 張新鈺;李駿;李志偉;鄒鎮洪;杜昊宇;張天雷
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/02
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;李彪

本發明公開了一種基于互信息的自適應多傳感器數據融合方法，所述方法包括：接收相機采集路面的RGB圖像；接收激光雷達同步采集該路面的點云數據；對點云數據進行預處理得到稠密點云數據；將RGB圖像和稠密點云數據輸入預先建立和訓練好的融合網絡，輸出數據融合結果；所述融合網絡，用于計算輸入數據的特征張量與預期特征的互信息，根據互信息分配輸入數據的融合權重，進而根據融合權重輸出數據融合結果。本發明的方法引入了互信息這一信息論工具，計算輸入數據的提取特征與融合網絡的預期特征之間的相關性，可以合理、客觀地量化數據質量的好壞與信息量的大小，有嚴格的數學方法作為理論支撐，具有一定的可解釋性。

技術領域

本發明屬于智能駕駛技術領域，具體涉及一種基于互信息的自適應多傳感器數據融合方法及系統。

背景技術

智能駕駛車輛需要通過多種傳感器對周圍環境進行感知測量，以保證安全行使。融合網絡可以融合不同傳感器的數據，完成駕駛任務，包括車道線檢測、物體檢測與跟蹤等。然而，不同傳感器的數據可能存在多種問題。例如攝像頭可能存在圖像過曝、雨霧天氣影響、障礙物遮擋等問題，激光雷達可能存在點云過于稀疏、距離目標較遠等問題。針對這些問題，可以利用互信息計算評估數據質量，通過分配融合權重對有效信息加權利用，降低無效數據對融合網絡的影響，改善網絡性能。

現有的多傳感器數據融合權重計算方法較少涉及信息論領域，現有方法主要包括：1)不進行數據質量評估，使用固定權重；2)對比不同傳感器數據，可能存在問題的數據不參與融合；3)利用證據理論計算數據融合權重。然而它們要么對數據的自適應性不足，要么計算復雜。互信息的引入克服了現有方法存在的一些難點：1)缺少合理的量化工具，缺少數學方法的支撐；2)在訓練過程中容易存在網絡不收斂的問題；3)融合權重不能自適應地對不同傳感器的輸入進行調整，即不能根據數據質量和信息量進行調整。

發明內容

本發明的目的在于克服現有技術缺陷，提出了一種基于互信息的自適應多傳感器數據融合方法及系統，可以應用于車道線檢測等自動駕駛相關領域。

為了實現上述目的，本發明提出了一種基于互信息的自適應多傳感器數據融合方法，所述方法包括：

接收相機采集路面的RGB圖像；

接收激光雷達同步采集該路面的點云數據；

對點云數據進行預處理得到稠密點云數據；

將RGB圖像和稠密點云數據輸入預先建立和訓練好的融合網絡，輸出數據融合結果；

所述融合網絡，用于計算輸入數據的特征張量與預期特征的互信息，根據互信息分配輸入數據的融合權重，進而根據融合權重輸出數據融合結果。

作為上述方法的一種改進，所述對點云數據進行預處理得到稠密點云數據；具體包括：

利用激光雷達坐標系與相機成像坐標系的轉換矩陣將點云數據投影到像素平面，得到灰度圖像對應的二維點云數據；

對二維點云數據進行插值操作，得到稠密點云數據。

作為上述方法的一種改進，所述融合網絡包括互信息計算模塊，所述互信息計算模塊的具體實現過程為：

根據隨機變量X、Y計算互信息I(X；Y)：

其中，p(x,y)是隨機變量X和Y的聯合概率密度函數，p(x)為隨機變量X的邊緣概率密度函數，p(y)為隨機變量Y的邊緣概率密度函數；

將互信息I(X；Y)表示為KL散度形式：

其中，