[發明專利]一種多傳感器深度融合提高目標檢測能力的方法

在審

• 申請號: 201810280358.2
• 申請日: 2018-03-29
• 公開（公告）號: CN108663677A
• 公開（公告）日: 2018-10-16
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海智瞳通科技有限公司
• 主分類號: G01S13/86
• 分類號: G01S13/86
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種多傳感器深度融合的方法，利用不同傳感器在不同的維度對環境與目標的感知，所采集的各種數據做多層面的數據融合，從而提高系統環境感知與目標檢測能力。我們把不同維度的探測數據組成一個多維像素矩陣，在攝像頭成像的每個像素為基礎維度上增加其它傳感器如雷達和紅外傳感器帶來的距離、相對速度、目標的雷達散射截面RCS數據以及目標的熱輻射溫度分布等數據，把不同維度的探測數據用矩陣數組的形式組合在一起，組成一個“多維度測量參數”的矩陣數組，產生更多樣有效的數據挖掘與特征提取。本發明適用于車輛駕駛輔助系統(ADAS)和自動駕駛系統、機器人以及各種需要有環境感知與目標檢測能力的設備與系統中。

技術領域

本發明涉及一種多傳感器深度融合的方法，有效利用不同的傳感器在不同的維度對環境與目標的感知，所采集的各種數據做多層面的數據融合，從而提高系統環境感知與目標檢測能力。

背景技術

目前常用于環境感知的傳感器有：攝像頭，微波雷達，紅外傳感器，超聲波雷達以及激光雷達等，它們被廣泛地用于車輛駕駛輔助系統(ADAS)和自動駕駛系統、機器人、無人搬運車(AGV)，以及各種需要有環境感知與目標檢測能力的設備與系統中。但是目前基本的使用場景是各個感知系統各自為政，獨立地在自己的探測維度里對環境目標做檢測。即使做多傳感器的融合，往往也是淺層的，各傳感器系統只做淺層的數據交互，比如在目標檢測的最初階段對候選檢測目標做篩選時集合各系統探測的數據做一個權重判別(作為候選目標或者直接放棄)；或者，各系統在輸出各自目標檢測的結果后再做一次綜合判斷，基于系統各自的權重來投票表決(分類器方法)統計計算出最終判定結果。這些系統沒有對所采集的各種數據做多層面的數據融合與深度學習，信息與決策分散，沒有充分利用來自不同維度的信息組合產生的更多樣有效的特征提取與數據挖掘來有效地提高系統環境感知與目標檢測能力。

本發明的任務是提供一種方法，使系統內不同種類的傳感器形成互補有效的系統組合，各傳感器充分利用各自最有效的探測維度進行環境感知與目標檢測，把多個維度的目標探測數據用矩陣數組(類似一個立體矩陣)的形式組合在一起，取得的數據做多層面的數據融合與深度學習，充分利用來自不同維度的信息組合產生的更多樣有效的數據挖掘與特征提取，從而更有效的提高系統環境感知與目標檢測能力。

發明內容

這是一種新的多傳感器融合方法，用于環境感知與目標檢測；利用深度的數據融合，充分利用來自不同傳感器的信息在多維度和多層次架構上做高效準確的目標檢測。

我們把多個維度的目標探測數據用矩陣數組(類似一個立體矩陣)的形式組合在一起。在攝像頭成像的二維像面空間基礎上，我們把每個像素包含的信息做了擴展，除了其原本包含的亮度與顏色信息，我們還為每個像素增加了多個縱向維度，在增加的縱向維度上輸入該像素在攝像頭探測空間(物方空間)映射的目標物體單元被其它傳感器探測到的多種對應維度的信息，如相對距離、相對運動速度、目標的雷達散射截面RCS數據以及目標的熱輻射溫度分布等數據，把多維度信息以分層的方式裝配到原本以圖像像素為單元的目標物體描述子之上，在數學上表現為統一結構的矩陣數組。在本文中我們把這種目標的“多維度測量參數”的矩陣數組描述稱之為“多維像素”結構。在攝像頭成像的每個像素為基礎維度上增加了其它傳感器如雷達和紅外傳感器帶來的距離、相對速度、目標的雷達散射截面RCS數據以及目標的熱輻射溫度分布等數據，增加系統感知深度，建立了以攝像頭像素為顆粒度的立體多維深度感知矩陣數組，原來的每一個像素變成了本發明中的每一個多維像素。我們把不同維度的探測數據用矩陣數組的形式組合在一起，組成一個“多維度測量參數”的矩陣數組，簡稱多維像素矩陣，是本發明的創新。

“多維度測量參數”的矩陣數組(既多維像素矩陣)描述示意圖如圖1所示。我們還可以在此基礎上增加更多的數據維度(帶入更多傳感器的數據封裝)，組合方式相同。另外，縱向的矩陣數組順序可以改變(當然，順序的改變可能意味著機器學習要重新再次訓練)。