[發明專利]融合激光雷達、雙目相機和ToF深度相機數據的智能機器人深度圖像構建方法

有效

• 申請號: 202110007417.0
• 申請日: 2021-01-05
• 公開（公告）號: CN112766328B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 吳星明;孔令坤;陳偉海;王建華;趙小銘;馬鑫至
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/80;G06T7/50;G06T7/80
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 冀學軍

本發明公開了一種融合激光雷達、雙目相機和ToF深度相機數據的智能機器人深度圖像構建方法。所述方法包括獲取多源傳感器數據，并對各傳感器數據進行數據注冊，將其統一到雙目相機坐標系下；對注冊后的各傳感器數據進行關聯，獲得關聯的多源深度數據；基于關聯的多源深度數據，采用梯度信息的深度補償融合算法獲得更準確、更稠密的深度數據。本發明通過融合多源深度數據，不但充分利用多源傳感器數據，還保證了所獲深度圖像的準確性和稠密性。

技術領域

本發明涉及智能機器人的深度圖像技術方法領域，具體而言，設計一種融合激光雷達、雙目相機和ToF深度相機數據進行智能機器人的同時定位與深度圖像的構建方法。

背景技術

同時定位與地圖創建(Simultaneously Localization and Mapping,簡稱SLAM)是指機器人依靠其攜帶的傳感器進行自身的定位，同時增量式地創建環境的地圖，是智能機器人在未知環境中自主完成任務的前提和基礎。而機器人定位問題，需要直接或間接獲取環境的距離信息才可求解。因此距離測量是機器人技術的一項重要要求。在攝像機坐標系中，距離信息是沿深度方向定義的，所以距離測量也被稱為深度測量。

目前，主流的深度測量傳感器有雙目相機、ToF深度相機、激光雷達。

雙目相機是由一對固定基線的相機組成的，深度圖像可根據兩張彩色圖像進行特征匹配來獲取。在光照強烈的條件下，雙目相機可以正常工作。但當環境光線昏暗時或所處環境缺乏紋理信息時，兩張彩色圖像無法匹配到魯棒的特征，雙目相機難以獲取準確的深度圖像。ToF深度相機通過紅外LED(發光二極管)發射紅外光，接收反射的紅外光，根據光的飛行時間計算每個像素的距離。ToF深度相機可以直接捕獲深度圖像，且由于工作原理的優勢，其捕獲的深度圖像精度較高，但是紅外光很容易被強烈的光照所干擾，因此ToF深度相機在光照強烈的環境下并不適用。激光雷達同樣也是一種根據發射和接收光的飛行時間來計算深度的設備，但它使用的是紅外激光發射器而不是LED。激光雷達的深度測量精度很高，且由于激光的光相干性，激光雷達的不受環境光線的干擾。雖然激光雷達的工作條件范圍很廣，但由于硬件的限制，激光掃描只能捕捉到很稀疏的深度，在一些關鍵區域可能會缺乏深度信息。

由于每種傳感器的不同特性，他們獲取到的深度信息各有優缺點，如果能夠綜合利用三類傳感器的優勢，融合三類傳感器的數據，便能在機器人定位與建圖任務中提供更精準和稠密的深度圖像，還能提高機器人定位與地圖構建的精度。

發明內容

本發明旨在解決智能機器人定位與地圖構建問題中，單一傳感器由于受硬件條件及工作環境限制，無法在復雜多變的工作環境下獲取準確有效的深度信息，導致智能機器人定位與建圖精度低的技術問題。

本發明為解決此問題，提出了利用三種傳感器結合，在復雜的工作環境下生成準確且稠密的深度圖像的技術方案。此技術方案主要包括傳感器數據注冊單元(20)、多源數據關聯單元(30)，多源深度數據融合單元(40)。本發明中使用的傳感器包括激光雷達(11)、ToF深度相機(12)和雙目相機(13)。由于三種傳感器的安裝位置不同，獲取到的數據不在統一坐標系下，因此利用點云ICP(Iterative Closet Point)算法對三種傳感器進行位姿標定，將各傳感器獲取到的信息進行數據注冊，把不同傳感器數據統一到雙目相機成像坐標系中；由于各傳感器幀率的不匹配，且與雙目相機(13)和激光雷達(11)相比，ToF深度相機(12)成像存在較大延遲的問題，不同傳感器數據時間戳不對應，因而需要對數據進行關聯實現數據對齊；由于雙目相機(13)不適于在黑暗和缺乏紋理特征的環境下工作，ToF深度相機(12)的在光照強烈的條件下容易受到干擾，激光雷達(11)獲取到的深度信息過于稀疏，本發明的深度圖像構建算法結合了各自傳感器的優勢，通過一種新式的基于梯度信息的深度補償融合算法，在復雜的工作環境下獲得更準確、更稠密的深度數據。

本發明的一種融合激光雷達、雙目相機和ToF深度相機數據的智能機器人深度圖像構建方法，其特征在于深度圖像構建包括有下列步驟：