[發明專利]多攝像機即時定位與地圖構建的三角化方法及其運動體

有效

• 申請號: 201810131493.0
• 申請日: 2018-02-09
• 公開（公告）號: CN110132242B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 王亞慧;蔡少駿
• 申請（專利權）人: 馭勢科技（北京）有限公司
• 主分類號: G01C11/02
• 分類號: G01C11/02;G01C11/08;G01C21/00;G01C21/34
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰

本發明提供一種用于多攝像機即時定位與地圖構建的三角化方法，包括如下步驟：將由k個攝像機中的同一攝像機和不同攝像機在相鄰關鍵幀的拍攝結果作為n組攝像機組合，其中k和n為大于1的整數；通過對所述拍攝結果進行圖像處理，得到用于預測各組攝像機組合的三角化成功率的評測結果；和基于各組攝像機組合的評測結果，選取m組攝像機組合進行三角化，其中，k≤m＜n。本發明還提供這樣的多攝像機即時定位與地圖構建方法及采用上述方法的運動體。

技術領域

本發明總體涉及用于多攝像機即時定位與地圖構建技術，具體地，涉及用于多攝像機即時定位與地圖構建的三角化方法。

背景技術

即時定位與地圖構建(Simultaneous Localization And Mapping，下文簡稱為SLAM)指的是運動物體在自身位置不確定的條件下，在完全未知環境中創建地圖，同時利用地圖進行自主定位和導航。換句話說，即時定位與地圖構建的技術問題可以描述為：如何使運動物體在未知環境中從一個未知位置開始移動，在移動過程中根據位置估計和傳感器數據進行自身定位，同時建造增量式地圖。更具體地，SLAM是一種通過實時跟蹤運動物體運動并在此過程中同時建立周圍環境地圖以達到定位導航等目標的技術。SLAM通過使用多種傳感器如激光雷達、超聲波傳感器、GPS、慣性測量單元IMU以及攝像機等設備跟蹤設備當前的位姿并利用采集到的激光雷達或者圖像重構周圍的環境以達到定位和地圖構建的目標。SLAM以其實用性在無人機導航、自動駕駛等眾多領域獲得了廣泛應用。其中攝像機以其低廉的成本獲得了眾多研究者和企業開發人員的青睞，而以攝像機為主要傳感器的即時定位與地圖構建技術——即視覺即時定位與地圖構建技術(Visual即時定位與地圖構建)也獲得了前所未有的發展。

視覺SLAM根據所采用的攝像機的數量可以分為單目SLAM(單個攝像機)、雙目SLAM(兩個攝像機)、多攝像機SLAM；同時根據所采用攝像機的種類又可以分為透視攝像機SLAM(perspective camera SLAM)以及采用魚眼鏡頭的魚眼攝像機SLAM(fisheye cameraSLAM)。由于采用多個攝像機可以獲取到周圍環境中更加豐富的信息，多攝像機SLAM獲得了越來越多的關注；同時魚眼攝像機擁有普通透視攝像機無法相比的大視角，可以看到更寬范圍內的信息，因此獲得了更多的研究；而多魚眼攝像機SLAM(multiple fisheye cameraSLAM)也漸漸走進了人們的視野。

圍繞SLAM中定位與地圖構建的兩大目標，現有的視覺SLAM方案，例如ORB SLAM，一般將系統劃分為跟蹤(tracking)和地圖構建(mapping)兩個線程。視覺SLAM技術首先通過特征點法等方法跟蹤攝像機當前的位姿，在求解到當前攝像機的位姿之后，再通過三角化圖像中新匹配的特征點將新的地圖點加入到地圖中。通過不斷重復以上跟蹤和地圖構建的環節，視覺SLAM就可以成功地跟蹤攝像機的運動并同時恢復周圍的環境。

整個SLAM過程中，跟蹤和地圖構建相互依賴，互為支撐。具體而言，成功的跟蹤能夠保證地圖構建過程中插入地圖點的正確性；而在成功更新地圖之后，新獲取的圖片才能通過與地圖匹配獲得更準確的位姿。在SLAM算法過程中，跟蹤與圖片的處理速度直接相關，而地圖構建負責處理后端優化等問題則較慢無法實時，現有的SLAM方案通過將跟蹤與地圖構建分離，由此緩解了系統對于硬實時的需要，也就是說，跟蹤線程在前端實時獲取并處理獲得的圖像，地圖構建線程則在后端以較慢的速度優化。

然而這種方案只是一種表面上的實時，在攝像機朝向的場景變化不大，可以重復利用的特征點較多的時候，比如前向攝像機，不需要頻繁插入關鍵幀，系統可以穩定工作；如果攝像機朝向的視野變化很快，比如像車輛行進中的左視或者右視攝像機，新的關鍵幀必須被及時創建，而關鍵幀的創建依賴于地圖構建線程，但如上所述地圖構建線程的運行速率較慢，并不能達到實時或者準實時的速率，這就導致跟蹤線程要求插入新的關鍵幀時，地圖構建線程仍然在忙于處理上一個關鍵幀，因此進一步導致關鍵幀無法插入，進而導致地圖無法更新，從而跟蹤線程因為沒有可以用于更新當前位姿的最新地圖而跟蹤失敗。因此降低地圖構建線程的計算量至關重要。