[發(fā)明專利]單目視覺里程計定位方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011153385.7
• 申請日: 2020-10-26
• 公開（公告）號: CN112344922B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設計）人: 高偉;萬一鳴;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G01C21/00
• 分類號: G01C21/00;G06T7/70
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明涉及一種單目視覺里程計定位方法及系統(tǒng)，所述單目視覺里程計定位方法包括：獲取訓練數(shù)據集，所述訓練數(shù)據集包括多個視頻序列，各視頻序列包括多幀連續(xù)圖像；根據各視頻序列，建立單目視覺里程計定位模型；具體包括：對各相鄰幀圖像進行堆疊處理后，得到對應的堆疊圖像；通過FlowNet編碼器，從各堆疊圖像中提取高維特征；通過LCGR模塊，從所述高維特征中依次提取局部信息和全局信息；根據所述局部信息和全局信息，通過全連接回歸處理，得到相對位姿；基于所述單目視覺里程計定位模型，根據待測視頻序列，可準確確定相對位姿，提高定位精度。

技術領域

本發(fā)明涉及計算機視覺技術領域，特別涉及一種SLAM(Simultaneouslocalization and mapping，同步定位與建圖)的基于局部全局信息融合和動態(tài)物體感知的單目視覺里程計定位方法及系統(tǒng)。

背景技術

視覺里程計是移動機器人、自主導航以及增強現(xiàn)實中的重要環(huán)節(jié)。視覺里程計按照使用的相機數(shù)量可以分為單目視覺里程計(Monocular VO)和雙目視覺里程計(StereoVO)。單目VO通常比雙目VO更具挑戰(zhàn)性，但是因其只需要一架相機，更加輕巧、便宜而得到廣泛的研究。經典的視覺里程計算法包括相機矯正、特征檢測、特征匹配、外點剔除、運動估計、尺度估計以及后端優(yōu)化。此類算法在大部分情況下都能取得較好的效果，但是面對遮擋、光照變化大、無紋理等場景仍然會存在失敗的情況。

近年來，深度學習技術已成功運用在人臉識別、目標跟蹤、語音識別、機器翻譯等方面。以卷積神經網絡為代表的深度學習方法在計算機視覺領域發(fā)揮了非常重要的作用，這些深度網絡在提取圖片特征，找出潛在規(guī)律等方面比傳統(tǒng)方法效果顯著，所以很多學者考慮將深度學習應用到位姿估計等領域，直接讓深度網絡學習圖片之間的幾何關系，實現(xiàn)端到端的位姿估計。這種端到端的方式完全摒棄了傳統(tǒng)方法中的特征提取、特征匹配、相機標定、圖優(yōu)化等步驟，根據輸入圖片直接得到相機姿態(tài)。盡管卷積網絡能夠應對一些極端情況，但是整體精度還是低于傳統(tǒng)方法，此外網絡的泛化能力也是影響深度網絡實際應用的重要原因。此外，大多數(shù)深度學習方法并沒有考慮場景中動態(tài)物體的影響，導致定位精度也比較低。

發(fā)明內容

為了解決現(xiàn)有技術中的上述問題，即為了提高定位精度，本發(fā)明的目的在于提供一種單目視覺里程計定位方法及系統(tǒng)。

為解決上述技術問題，本發(fā)明提供了如下方案：

一種單目視覺里程計定位方法，所述單目視覺里程計定位方法包括：

獲取訓練數(shù)據集，所述訓練數(shù)據集包括多個視頻序列，各視頻序列包括多幀連續(xù)圖像；

根據各視頻序列，建立單目視覺里程計定位模型；

其中，所述根據各視頻序列，建立單目視覺里程計定位模型，具體包括：

對各相鄰幀圖像進行堆疊處理后，得到對應的堆疊圖像；

通過FlowNet編碼器，從各堆疊圖像中提取高維特征；

通過LCGR模塊，從所述高維特征中依次提取局部信息和全局信息；

根據所述局部信息和全局信息，通過全連接回歸處理，得到相對位姿；

基于所述單目視覺里程計定位模型，根據待測視頻序列，得到待測相對位姿。

可選地，所述通過LCGR模塊，從所述高維特征中依次提取局部信息和全局信息，具體包括：

將各高維特征分別和K組3D卷積核進行卷積操作，得到不同長度的局部信息，其中第k組卷積核大小為k×3×3，且

基于Bi-ConvLSTM，從各高維特征中提取視頻序列的全局信息。

可選地，相對位姿包括位移和姿態(tài)；

所述根據各視頻序列，建立單目視覺里程計定位模型還包括：