[發明專利]一種適用于增強現實應用的視覺慣導融合位姿估計方法

有效

• 申請號: 202010675822.5
• 申請日: 2020-07-14
• 公開（公告）號: CN111882607B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 桂健鈞;郄志鵬;賴正洪;楊楚樂;董紅斌;鄧寶松
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06K9/62
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

本發明屬于增強現實技術領域，具體涉及一種適用于增強現實應用的視覺慣導融合位姿估計方法。本發明包括如下步驟：步驟1、分別從圖像傳感器和IMU中采集圖像和IMU數據；步驟2、圖像和IMU數據的魯棒預處理；步驟3、系統魯棒初始化；步驟4、啟動位姿估計模塊，持續不斷地對系統位姿進行估計并向外輸出系統最新的位姿；步驟5、啟動回環檢測和位姿圖優化模塊，基于點特征和線特征描述子構建圖像數據庫，將到來的最新關鍵幀圖像和數據庫中的圖像進行對比，如果相似度大于某個閾值，則認為出現了回環，利用檢測到的回環信息消除最新關鍵幀的累積誤差。本發明能夠降低位姿估計方法的累積誤差并對敏捷運動的情況下保持良好的位姿估計精度和魯棒性。

技術領域

本發明屬于增強現實技術領域，具體涉及一種適用于增強現實應用的視覺慣導融合位姿估計方法。

背景技術

目前，增強現實(AR)技術在世界范圍內正呈現爆發式的增長態勢，同時定位與建圖(SLAM)技術能夠為AR眼鏡或者移動端AR提供魯棒和精確的位姿估計，解決了AR中幾何一致性的關鍵問題，因而成了AR系統當中的關鍵技術。SLAM技術提供的魯棒精確的位姿估計確保了AR系統為用戶所帶來的沉浸式體驗。

低精度的消費級MEMS IMU在移動端的快速普及以及諸如手機等移動端計算能力的提升為視覺和IMU慣導融合位姿估計算法在移動端上的應用提供了可能。視覺和IMU兩種傳感器之間的天然互補性為視覺慣導融合的位姿估計算法擁有更好的魯棒性提供了理論依據。然而目前的視覺慣導融合位姿估計方法多是針對移動機器人的定位與建圖問題而設計的。在AR應用場景中，目前的方法面臨著對諸如快速運動、大角度旋轉等敏捷運動不夠魯棒以及運算量偏大等諸多挑戰。由此導致跟蹤失敗或者因為累積誤差無法消除導致3D虛擬物體產生漂移，嚴重影響了AR應用的用戶體驗。

發明內容

本發明的目的在于，針對位姿估計算法對敏捷運動不夠魯棒以及累積誤差不易消除的缺陷，提出了一種新型的適用于增強現實應用的視覺慣導融合位姿估計方法，該方法能夠降低位姿估計方法的累積誤差并對敏捷運動的情況下保持良好的位姿估計精度和魯棒性。

本發明采用的技術方案：

一種適用于增強現實應用的視覺慣導融合位姿估計方法，具體包括如下步驟：步驟1、分別從圖像傳感器和IMU中采集圖像和IMU數據；步驟2、圖像和IMU數據的魯棒預處理；步驟3、系統魯棒初始化；步驟4、啟動位姿估計模塊，持續不斷地對系統位姿進行估計并向外輸出系統最新的位姿；步驟5、啟動回環檢測和位姿圖優化模塊，基于點特征和線特征描述子構建圖像數據庫，將到來的最新關鍵幀圖像和數據庫中的圖像進行對比，如果相似度大于某個閾值，則認為出現了回環，利用檢測到的回環信息消除最新關鍵幀的累積誤差。

所述步驟1中，所述圖像傳感器和IMU集成在一起構成視覺慣性模組，并開放相關的API，通過調用API即可采集得到圖像和IMU數據。

在視覺慣性模組中集成一個晶振，圖像和IMU數據的時間戳均由同一個晶振產生，以此降低圖像和IMU數據之間的時延，保證圖像和IMU數據的時間戳在硬件上的同步。

所述步驟2包括圖像的魯棒預處理和IMU數據的魯棒預處理，

其中，圖像的魯棒預處理包括如下步驟：

步驟2.1、檢測IMU數據中的加速度值，如果加速度值超過了一定的閾值，則認為發生了敏捷運動，在進一步處理之前需要使用維納濾波對圖像進行去模糊處理；如果加速值沒有超過閾值，則無需進行去模糊的處理；

步驟2.2、對圖像調用LSD線段提取算法，提取圖像中所包含的線段；提取完線段之后，再在圖中非線段處提取特征點；

IMU數據的魯棒預處理包括如下步驟：

步驟2.3、確定IMU數據為載體加速度值和角速度值，根據圖像和IMU數據所帶的時間戳對圖像和IMU數據進行時間戳對齊；