[發明專利]一種多傳感器數據融合的方法、系統、設備和存儲介質

在審

• 申請號: 202110999243.0
• 申請日: 2021-08-28
• 公開（公告）號: CN113887557A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 張晶威;劉丹;詹景麟
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G01S17/86
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 宋薇薇;李紅蕭

本發明提供一種多傳感器數據融合的方法、系統、設備和存儲介質，方法包括：使用第一類型的傳感器根據預設采樣周期采集第一數據；在每個預設采樣周期中獲取當前狀態的環境因子并根據所述環境因子確定延時時間，并根據所述延時時間和所述預設采樣周期確定發送觸發信號的時刻；響應于在所述時刻發送所述觸發信號，經過所述延時時間使用第二類型的傳感器采集第二數據；將所述第一數據和所述第二數據進行融合處理。本發明根據環境因子確定延時時間，并基于延時時間確定發送觸發信號的時刻，從而保證多個傳感器時間同步，減少了對數據有效性的判斷，提高了數據融合的速度。

技術領域

本領域涉及自動駕駛領域，更具體地，特別是指一種多傳感器數據融合的方法、系統、設備和存儲介質。

背景技術

在自動駕駛和機器人領域，其感知域的多傳感器數據融合已經成為一種趨勢，這主要有兩方面的原因：一方面是在感知域中所應用的傳感器具有各自的優勢和劣勢，需要在對外界環境感知的過程中進行互補。例如：2D攝像頭缺乏環境深度信息，激光雷達(3D-Lidar)缺乏環境的顏色信息，識別物體的紋理稀疏等缺陷；另一方面是感知融合算法的快速發展，推動了應用多種傳感器融合對自動駕駛車輛或機器人對外接環境進行識別。知名的有關2D相機和3D-Lidar的融合算法有AVOD、MV3D、MMF、F-PointNet、ContFuse等。

多傳感器的數據融合與多傳感器時鐘同步需求是綁定的。由于各傳感器的物理實現、采樣頻率、數據量、通信機制等差異，未經處理的數據上傳至核心計算單元后是未進行時間對齊的。對計算單元而言，它需要各傳感器回傳帶有時間戳(timestamps)的數據，同時這些時間戳可以在同一時間基準(例如UTC時間)下對齊。

宏觀地劃分多傳感器時鐘同步方法，主要有硬件方法和軟件方法。

硬件方法核心是基于觸發信號，即計算單元向目標傳感器發出觸發信號(同時該信號也常作為回傳數據的時間戳)。目前認為硬件方法是比較有效的時間同步方法，但仍然存在缺陷，一方面傳感器硬件需要開發定制，開發周期和成本較高。另一方面，硬件觸發傳感器后，數據的回傳仍有差異，例如面向不同應用場景攝像頭，其曝光策略具有差異。典型的隧道口明暗差異大場景，需要攝像頭的CMOS傳感器采用高動態(HDR)曝光策略(多次曝光，數據疊加)，特別是經過圖像處理器(ISP)處理后的數據，再回傳計算單元的時間是有差異的。

軟件方法主要是對多種傳感器采樣數據的時間偏置(offset)進行估計和優化，這些方法多假設傳感器具有固定的時間偏置和傳輸延遲。軟件數據對齊的方法如圖1所示。軟件對多傳感器數據進行時鐘方法策略是對長周期采樣傳感器進行數據處理時，選擇時間較近的另一種傳感器的數據，并通過算法判斷選擇數據的有效性。如圖1中計算單元以激光雷達數據周期進行事件處理，同時判斷攝像頭數據A、B的有效性并與激光雷達數據進行融合。需要注意的是，兩種傳感器的采樣周期是固定的，但是A、B圖像與激光雷達數據的時間間隔δ_a、δ_b并不一致，而是隨機的。特別是面向不同環境的自適應傳感器應用，其數據回傳的時間偏置也不是固定的。另外，對于自動駕駛和機器人這種實時性要求高的場景，計算單元在有限的時間片C_C(t)中需要對融合數據的有效性進行判斷，再進行數據融合，并進行決策控制等工作，對計算單元的處理能力和算法效率都有較高要求。

以太網為代表的通信傳輸中包括幾種典型的時鐘同步協議，其中有NTP協議，IEEE1588協議和TICSync，這些方法都是通過雙向包的傳輸，將傳輸延遲記錄于數據中，這需要通信的兩端節點支持該功能，例如依靠以太網數據傳輸的激光雷達，目前大多支持IEEE1588協議，實現時間同步。但是大多車載、機器人傳感器不能夠支持基于雙向傳輸實現同步的協議，例如攝像頭、毫米波雷達、慣性導航(IMU)、超聲波雷達等都不能支持上述時間同步協議。單向的硬件觸發仍是傳感器應用的主流方案。

綜上所述，目前多傳感器數據融合面臨如下問題：

(1)傳感器的時間戳信號(觸發信號)大多是單向的，即主機觸發傳感器→回傳數據；