[發明專利]一種基于點線綜合特征的視覺同時建圖與定位方法

有效

• 申請號: 201611142482.X
• 申請日: 2016-12-13
• 公開（公告）號: CN106909877B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 劉勇;左星星
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

本發明公開了一種基于點線綜合特征的視覺同時建圖與定位方法，該方法綜合運用從雙目相機圖像中提取得到的線特征和點特征，可以用于在室內室外環境的機器人定位與姿態估計，由于綜合使用點線特征使得系統更加魯棒，更加精確。對于直線特征的參數化，我們用普呂克坐標用于直線的計算，包括幾何變換，三維重建等，在后端的優化中我們用直線的正交表示來最小化直線的參數個數。離線建立綜合點線特征的視覺字典，用于閉環檢測，并通過增加標志位的方法使得點線特征在視覺字典里和建立圖像數據庫、計算圖片相似性時區別對待。本方法可用于室內室外的場景地圖的構建，構建出的地圖綜合了特征點和特征直線，能夠提供更加豐富的信息。

技術領域

本發明涉及視覺同時建圖與定位技術領域，特別是一種基于特征的雙目視覺SLAM(同時定位與建圖)技術領域。

背景技術

針對視覺同時建模與定位技術，基于關鍵幀的優化和圖優化成為視覺SLAM問題的主流框架。圖優化技術已經被證實在計算所消耗的資源和結果的一致性方面比傳統的濾波框架具有更好的性能。點特征是在視覺同時建圖與定位技術中最被廣泛使用的特征，在室內和室外環境中都特別豐富，在連續的圖像序列中容易被跟蹤，而且在幾何變換中方便計算。然而，點特征對于環境依賴較大，高質量的點特征需要魯棒性高但耗時的特征檢測與描述。在圖像中線特征比點特征的表示層次高，在結構化環境中提供了更魯棒的信息，利用較少的線特征結合點特征建立環境地圖與定位可以更加高效以及精確。

發明內容

本發明所要解決的技術問題是提供一種基于點線綜合特征的視覺SLAM方法，可以用于在室內室外環境的機器人定位與姿態估計，由于綜合使用點線特征使得系統更加魯棒，更加精確。本方法可用于室內室外的場景地圖的構建，構建出的地圖綜合了特征點和特征直線，能夠提供更加豐富的場景信息。為此，本發明提供以下技術方案：

一種基于點線綜合特征的視覺同時建圖與定位方法，其特征在于，包括離線建立視覺詞典和在線建立稀疏視覺特征地圖兩個部分：

首先，利用聚類方法離線建立樹狀的視覺詞典，即描述子空間的KD樹，并確定樹狀視覺詞典中每個節點的逆文本頻率，所述每個節點即為描述子的聚類中心：

將每幀圖像包含的特征轉化為視覺詞匯，即特征描述子；對所述視覺詞匯進行分層聚類，建立描述子空間的KD樹，該KD樹稱為視覺詞典；使用特征描述子離線建立樹狀的視覺詞典，將特征描述子的訓練圖像集中提取出來；所述描述子是ORB(Oriented FAST andRotated BRIEF(BRIEF為Binary Robust Independent Elementary Features二進制魯棒獨立基本特征描述子)，定向快速角點檢測和二進制魯棒獨立基本特征描述子點特征描述子和LBD直線特征描述子；所述ORB點特征描述子和LBD(Line Band Descriptor線帶描述子)直線特征描述子均為二進制描述子，把兩種二進制描述子分別進行拓展：為ORB點特征添加標志位0，為LBD線特征添加標志位1，所述標志位0和標志位1可區分直線特征與點特征；獲取LBD直線特征描述子之前首先要用LSD(Line Segment Detector線段檢測子)檢測直線，再用LBD描述子對該直線進行描述；

視覺詞典中每個節點的權重由該節點包含的所有特征描述子的逆文本頻率(即IDF，主要思想是：如果包含視覺詞匯t的圖片越少，則逆文本頻率越大，則說明詞匯t具有很好的類別區分能力)確定；

然后，在線建立稀疏的視覺特征地圖，步驟如下：

步驟一，從雙目相機中獲取校正后的圖像，并對校正后的圖像的特征提取及描述：

提取校正后的圖像中的點線特征及其描述子，在線提取ORB點特征描述子和LBD線特征描述子；

步驟二，雙目相機中校正后的圖像進行特征匹配及三維重建：