[發明專利]一種異步數據融合的方法、裝置、存儲介質及電子設備

有效

• 申請號: 202010115720.8
• 申請日: 2020-02-25
• 公開（公告）號: CN113378867B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 張雨
• 申請（專利權）人: 北京輕舟智航智能技術有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0464
• 代理公司: 北京允天律師事務所 11697
• 代理人: 李建航;高源

本發明提供了一種異步數據融合的方法、裝置、存儲介質及電子設備，其中，該方法包括：獲取當前幀激光雷達數據，確定當前幀激光雷達三維特征；確定上一幀融合隱藏狀態，根據上一幀融合隱藏狀態和當前幀激光雷達三維特征進行時序融合處理，生成當前幀臨時隱藏狀態和當前幀輸出結果；獲取當前幀相機數據，確定當前幀相機三維特征，根據當前幀相機三維特征和當前幀臨時隱藏狀態生成當前幀融合隱藏狀態。通過本發明實施例提供的異步數據融合的方法、裝置、存儲介質及電子設備，采用當前幀激光雷達數據與上一幀相機數據進行異步融合的方式，處理延遲低；同時異步融合時結合上一幀激光雷達數據進行時序融合，故在當前幀能夠更好地融合，融合效果好。

技術領域

本發明涉及異步數據融合的技術領域，具體而言，涉及一種異步數據融合的方法、裝置、存儲介質及電子設備。

背景技術

多傳感器融合技術是指將經過同步后的不同傳感器數據進行融合處理的方法。該技術在多種機器人應用中得到了廣泛的應用，例如無人駕駛(Autonomous?driving)、高級輔助駕駛(ADAS)、智能家居，手術機器人、工業控制等。傳統的多傳感器融合技術大多采用卡爾曼濾波的方法，近年來，隨著深度學習技術的興起，人工神經網絡因其較強的識別能力被越來越多地應用在多傳感器數據融合方向。人工神經網絡通過大數據集上的訓練可以很好地學習到不同傳感器數據之間的相關性(correlations)，并消除非目標信息的干擾。

多傳感器融合技術在無人駕駛應用中扮演著舉足輕重的角色。無人駕駛因其問題復雜度高、安全關鍵(safety?critical)等特性，使得多種傳感器(例如相機/激光雷達/雷達)以及多傳感器融合技術被大量應用于無人駕駛感知系統。不同的傳感器都有其自身的優勢和劣勢：相機提供的相機數據信息密度大，擁有顏色信息，但動態范圍(dynamicrange)較低，在弱光(low-light)及高對比度光線條件場景很難捕捉足夠的視覺信息；激光雷達(Light?Detection?and?Ranging,LiDAR)生成的3D點云可以提供精確的3D信息，但點云較為稀疏，同時會在霧氣/雨滴/雪花/汽車尾氣等場景下容易形成虛假點(spuriouspoints)；雷達有效范圍較遠，有能力檢測物體速度，但信息稀疏且存在多經和多普勒模糊問題，使得在通過隧道、大橋等場景下雷達探測可信性降低。不同的傳感器特性不同，失效模式(failure?mode)相對彼此正交(orthorganal)。因此，在無人車之中利用和融合多傳感器數據會增加冗余度，提高系統魯棒性和可靠性。

激光雷達與相機的融合是無人駕駛多傳感器融合的主要方向之一。目前，學術界和工業界都在積極探索利用人工神經網絡融合輸入激光點云以及相機圖像做目標檢測(object?detection)/目標分割(object?segmentation)等任務。此類方法考慮將當前幀的激光雷達點云和當前幀的相機圖像進行融合，即激光雷達和相機的數據同步融合。這種激光雷達和相機的同步數據融合的方式將同一幀采集到的激光和相機數據進行融合，兩類傳感器采集數據的時間戳較近，便于直接融合。但在實際無人駕駛工程應用中，機械激光雷達因其可以流傳輸(streaming)所以傳感器延遲(sensor?latency)較低。同時因其數據量較小(e.g.100k～150k?points?for?a?typical?64beam?Lidar)所以處理延遲(processinglatency)也相對較低。相機，相較激光雷達，由于圖像本身的預處理(例如編/解碼，顏色矯正等)以及較難進行流傳輸等使得傳感器延遲較高。同時因其數據量較大(e.g.2000kpixels?for?a?1080p?image)所以處理延遲也相對較高。如果將兩者直接同步融合會造成整體融合模塊的延遲較高。具體來看即激光雷達的數據收集與處理已經完成，但整體融合算法還在等相機的數據收集與處理，這對于無人駕駛系統的快速反應與安全關鍵相左。因此，激光雷達和相機的同步融合在實際無人駕駛工程中并非最優設計。