[發明專利]基于暫停信息補充機制的視覺里程計旋轉運動處理方法

有效

• 申請號: 202010621410.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111833402B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 劉世光;樊家輝
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/764;G01C22/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

本發明公開一種基于暫停信息補充機制的視覺里程計旋轉運動處理方法，包括以下步驟：步驟1、監控圖像幀并判定圖像幀運動類別；步驟2、根據步驟1的判定結果切換數據流流向；并將圖像幀分為三類：旋轉初始幀RB、旋轉過程幀R1，R2，…，Rn和旋轉結束幀RE；旋轉初始幀RB用于繼承當前的攝像機位姿信息，為后續幀提供初始化；旋轉過程幀R1，R2，…，Rn用于整合旋轉圖像進行計算；旋轉結束幀RE用于處理每次旋轉的累計誤差并連接到普通計算流程；步驟3、進行圖像幀匹配和位姿計算，完成相機旋轉的圖像處理；根據圖像幀數量，對位姿計算結果進行誤差優化處理；步驟4、后端數據優化。

技術領域

本發明屬于圖像/圖形處理領域，涉及目標定位、相機位姿計算以及環境地圖表示，能夠實現在旋轉運動情況下維持視覺里程計算法魯棒性。

背景技術

同步定位與地圖構建(Simultaneous?Localization?and?Mapping，SLAM)是指在沒有任何環境先驗信息且自身位姿信息不確定的條件下，無人平臺基于搭載的傳感器在移動過程中進行位姿估計，同時以增量的形式對周圍環境進行感知、構建特定形式地圖的過程。隨著計算機視覺技術的進步和運算能力的快速提高，基于視覺傳感器的SLAM技術研究發展迅速，研究者們提出一系列具有代表性的方法包括特征點法[1-2]、直接法[3-5]和混合法[6]等。

針對SLAM視覺里程計旋轉運動問題，Gauglitz等人[7]提出一種同時支持一般的和退化的攝像機運動的SLAM算法。該方法采用幾何穩健信息準則來判斷運動狀態變化，并將一般模型和旋轉模型綜合考慮。Pirchheim等人[8]提出一種利用旋轉幀生成全景子圖的方法，并盡可能多地利用圖像信息而不是簡單拋棄它們。該方法基于關鍵幀SLAM系統，將特征分為有限點和無限點兩類。Zhou等人[9]研究了半稠密SLAM系統中旋轉運動的魯棒性，建立一個基于LSD-SLAM[4]的概率模型。Liu等人[10]提出一種基于特征跟蹤和位姿優化的多單應滑動窗口方法，并制作一個Android版本的程序來實踐算法的魯棒性效果。Lakshmi等人[11]提出一種同時考慮兩種運動類型光度殘差的方法來抵抗旋轉運動。SLAM在特定應用場景下的魯棒性問題仍需深入研究，本專利主要關注攝像機旋轉帶來的運動退化問題。

綜上所述，現有的不同類別的算法均能在精度和穩定性指標上體現出優良的性能。國內研究人員對SLAM應用及模塊改進取得部分成果[12-13]，但是沒有對旋轉等特殊運動情況進行充分探討和研究，現有SLAM算法的視覺里程計模塊所考慮的相機運動情況被認為是穩定的、不退化的運動狀態，這對VR/AR等類似應用情況是不利的。在一般運動狀態下，相機位姿是由六自由度的參數表示；當相機發生旋轉或近似旋轉的運動時，由于位置參數不發生變化，自由度降為3。視覺里程計無法直接解決自由度變化問題，這是多數算法不曾考慮的情況。

參考文獻：

[1]Klein?G，Murray?D.Parallel?tracking?and?mapping?for?small?ARworkspaces[C]//The?6th?IEEE?and?ACM?International?Symposium?on?Mixed?andAugmented?Reality.IEEE，2007:?225-234.

[2]Mur-Artal?R，Montiel?J?M?M，Tardos?J?D.ORB-SLAM:a?versatile?andaccurate?monocular?SLAM?system[J].IEEE?Transactions?on?Robotics，2015，31(5):1147-1163.

[3]Newcombe?R?A，Lovegrove?S?J，Davison?A?J.DTAM:Dense?tracking?andmapping?in?real-time[C]//2011?International?Conference?on?ComputerVision.IEEE，2011:2320-2327.