[發明專利]一種利用紅外相機和深度相機融合構建柵格地圖的方法

有效

• 申請號: 201911146411.0
• 申請日: 2019-11-21
• 公開（公告）號: CN110782506B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 仲維;李豪杰;陳圣倫;王智慧;羅鐘鉉;劉日升;樊鑫
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T11/20
• 分類號: G06T11/20;G06T7/80
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 陳玲玉

本發明公開了一種利用紅外相機和深度相機融合構建柵格地圖的方法，屬于圖像處理和計算機視覺領域。利用嚴謹的配準策略完成傳感器配準，從硬件的層次提升系統效率。利用GPU構建高性能運算平臺，并構建高性能求解算法構建柵格地圖。系統容易構建，程序簡單，易于實現；利用紅外相機和深度相機融合構建地圖，可以低亮度或夜間使用，而且算法魯棒性強精度高。

技術領域

本發明屬于圖像處理和計算機視覺領域。利用紅外相機和深度相機的特性，相互彌補缺陷，使得構建柵格地圖更精細更準確。是一種利用多傳感器構建柵格地圖的方法。

背景技術

近年伴隨著人工智能的發展移動機器人和汽車自動駕駛越來越受到人們的關注，而其中一個需要解決主要的問題就是地圖構建。柵格地圖是在無人導航中最為常見的一種地圖，因而如何構建快速精確的柵格地圖成為移動機器人和和無人車中一個十分重要的問題。現階段主流的方法大致利用三種傳感器，雙目相機，深度相機和雷達。三種傳感器由于自身的特性存在著不可避免的缺點，雙目相機受光照和紋理影響大，深度相機測距范圍有限。抗干擾能力差，激光雷達或毫米波雷達價格昂貴且數據稀疏。由此可見單一傳感器構建柵格地圖不能完整準確的反映出場景的結構。因此傳感器融合成為一種趨勢，現階段存在的融合方案有雙目相機和雷達，使用雙目相機的稠密數據填充雷達的稀疏數據，使用雷達的精確數據修正雙目相機的粗略數據，最終構建可較好反映場景深度圖，然后可利用生成的深度圖構建柵格地圖。但是這樣的方案設備成本高，算法中數據融合消耗資源多、實時性較差，而且不適合在規模較小的環境使用。

發明內容

為解決上述問題本發明提出使用紅外相機和深度相機構建柵格地圖的方法，深度相機測距范圍有限但是精度高，紅外相機與雙目相機相似測距范圍大獲取可以獲取遠處的信息，而且紅外相機可以全天候使用。但是兩傳感器的位姿和時間標定存在困難，本發明中使用最大點云配準和分段對齊完成。兩傳感器數據融合影響算法的執行效率，本發明提出的權值狀態更新方法融合數據可以提升算法效率。本發明提出一種高效的利用深度相機和紅外相機構建柵格地圖的方法。

具體技術方案的步驟如下：

1)傳感器配準

使用紅外相機和深度相機同時拍攝不同姿態、不同位置的標定物，設由深度圖轉換得到的點云分別為P_i和P_d，使點對滿足且點對的數量達到最大，得到位姿為T；

獲得紅外相機深度圖序列和深度相機深度圖序列，分別計算兩個序列的運動軌跡l_i和l_d，并將軌跡分為n個時間段進行對齊，獲得時間偏移t₁，...，t_n；取平均值t作為兩傳感器的時間偏移；

2)深度權值更新

兩種傳感器生成的深度圖分別為D_i和D_d，精度分別為W_i和W_d；使用紅外圖像進行場景判別；如果場景為室內則用系數因子β_i和β_d分別乘以傳感器精度，否則判斷場景的亮度，如果低于I_min則用系數因子α_i和α_d分別乘以傳感器精度；

3)篩選視線

傳感器深度圖D_i和D_d；首先判斷兩深度圖是否滿足時間偏移t，若不滿足則放棄處理；若滿足則用位姿T配準得到點云P_f；然后對點云進行篩選，連接三維點q與視線起點o為當前視線l，o是相機光心在世界坐標系的位置，如果q的高度比o大h則剔去視線，保留的視線會投影到柵格地圖之中為l^·；從O沿著投影線遍歷更新柵格的狀態直到到達端點Q，O和Q為o點和q點在柵格地圖中的投影；

4)更新柵格狀態