[發明專利]一種融合雙目相機與IMU的定位與三維線框結構重建方法與系統

有效

• 申請號: 201810917346.6
• 申請日: 2018-08-13
• 公開（公告）號: CN109166149B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 王星博;石瑞星
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T5/00;G01C21/16;G01C21/20
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明涉及一種融合雙目相機與IMU的定位與三維線框結構重建的方法與系統。本發明在雙目視覺基礎上，利用分治的策略初始化并融合慣性測量信息，實施跟蹤定位與建圖，可以穩健地在室內室外等環境以及復雜的運動條件下運行。在精確定位的基礎上，基于關鍵幀優化后的位姿進行三維線框的重建與迭代優化。通過局部特征與空間幾何約束匹配直線段并反投影到三維空間中。通過角度與距離約束，將直線段分成不同的集合。基于分組的結果，確定擬合區域并合并直線段。最終輸出三維線框結構。本發明在傳統的基于視覺的定位與建圖的方法上，融合多源信息提高系統的穩定性與魯棒性。同時在關鍵幀處，加入線信息，稀疏表達了三維環境的結構特征，提高了計算效率。

技術領域

本發明屬于是計算機視覺領域，特別是涉及一種融合雙目相機與IMU的定位與三維線框結構重建的方法與系統。

背景技術

基于視覺的同時定位與建圖是計算機視覺領域的重要研究課題。它是指運載體搭載特定的視覺傳感器，在沒有先驗環境信息情況下，對周圍環境進行感知與描述，同時估計自己的運動。完整的視覺定位建圖系統可以分為五個部分：傳感器數據的獲取、前端視覺里程計、后端非線性優化、回環檢測以及建圖。與其它的測量方法相比較，視覺測量的方法具有精度高、效率高、成本低廉、系統結構簡單等優勢，被廣泛地應用于機器人導航、無人駕駛、三維測量、增強現實以及虛擬現實等方面。根據采用的視覺傳感器的類型，可以將基于視覺的定位與建圖系統分為三種類型：基于單目相機的系統、基于雙目相機的系統以及結合單目相機與紅外傳感器的系統。

基于單目的視覺測量系統無法直接得到可靠的深度信息，初始化和重建的難度大，具有尺度的不確定性?；谏疃认鄼C的視覺測量系統成本較高，體積大，有效測量范圍有限，限制了應用場景。而基于雙目的視覺測量系統，在一次拍攝過程中，通過視差得到環境立體信息，精度比單目高。

根據算法處理圖像信息方式的不同，可以分為基于特征的方法以及直接法。直接法操作的對象是圖像的像素點，直接利用圖像所有的信息。但是這種方法在優化時會受到圖像梯度影響，同時在外界光照條件發生變化、相機發生大尺度移動、旋轉無法進行跟蹤。而特征法通過提取、匹配特征點，計算相機位姿并對環境建圖，在保存圖像重要信息的同時，有效地減少了計算量，從而被廣泛地使用。早期的單目視覺定位建圖系統通過濾波的方法實現，利用概率密度函數表示不確定性，并利用觀測模型和遞歸運算，更新存儲在狀態變量中的相機位姿與地圖點。但是此系統的精度不夠高。之后，基于關鍵幀的單目定位建圖系統開始流行，并以此進行了一系列優化策略，進一步提高準確性與實時性。后來，為了構建稠密的三維地圖，出現了基于直接法的視覺測量系統。

隨著科技發展，人們對于環境感知與定位建圖的性能提出了更高的要求。一方面，基于特征點的稀疏地圖的構建，丟失了環境中的關鍵結構信息，無法形成對環境進行有效的描述。稠密的地圖的構建則需要處理數量龐大的點云數據，計算代價高。另一方面，僅僅依靠單一的視覺傳感器無法滿足某些復雜場景下(比如，光照變化、遮擋、高光、重復紋理以及獨立運動物體等)系統對于魯棒性與穩定性的要求。目前還沒有能夠在復雜環境中，高效率、高精度地重建環境結構信息的系統。因此，本發明融合視覺傳感器和慣性測量單元，提高定位與建圖的魯棒性，提取并處理線結構特征，對周圍三維環境的結構進行感知與重建，為實際工程應用設計了一套更加穩定、精確、廉價的自動化解決方案與系統。

發明內容

本發明針對現有技術的不足，提供一種融合雙目相機與IMU的定位與三維線框結構重建方法與系統，本發明對于數據采集沒有特殊的要求，可以是手持、車載等方式；在數據采集的同時，即可形成線框結構的重建與優化，保證了全局結構的一致性和連續性；抗干擾能力強，可以在復雜運動條件下穩定運行；不受應用場景的限制，可以在室內與室外運行。

為了達到上述目的，本發明提供的技術方案是：一種融合雙目相機與IMU的定位與三維線框結構重建系統，包括如下模塊：

數據采集模塊，分別對雙目相機拍攝的低頻的圖像流以及慣性測量單元中加速計與陀螺儀采集的高頻的數據進行讀取與預處理；