[發明專利]單目視覺里程計定位方法及系統

有效

• 申請號: 202011153385.7
• 申請日: 2020-10-26
• 公開（公告）號: CN112344922B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 高偉;萬一鳴;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G01C21/00
• 分類號: G01C21/00;G06T7/70
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種單目視覺里程計定位方法，其特征在于，所述單目視覺里程計定位方法包括：

獲取訓練數據集，所述訓練數據集包括多個視頻序列，各視頻序列包括多幀連續圖像；

根據各視頻序列，建立單目視覺里程計定位模型；

其中，所述根據各視頻序列，建立單目視覺里程計定位模型，具體包括：

對各相鄰幀圖像進行堆疊處理后，得到對應的堆疊圖像；

通過FlowNet編碼器，從各堆疊圖像中提取高維特征；

通過LCGR模塊，從所述高維特征中依次提取局部信息和全局信息；

根據所述局部信息和全局信息，通過全連接回歸處理，得到相對位姿；所述相對位姿包括位移和姿態；

通過光流和掩膜估計模塊，根據各相鄰幀圖像及FlowNet編碼器輸出的光流，確定光流損失值L_ptotometric、約束損失值L_reg及極對損失值L_e；

根據位移損失值L_trans、姿態損失值L_rot、光流損失值L_ptotometric、約束損失值L_reg及極對損失值L_e確定總損失值；

根據所述總損失值調整所述單目視覺里程計定位模型；

基于所述單目視覺里程計定位模型，根據待測視頻序列，得到待測相對位姿。

2.根據權利要求1所述的單目視覺里程計定位方法，其特征在于，所述通過LCGR模塊，從所述高維特征中依次提取局部信息和全局信息，具體包括：

將各高維特征分別和K組3D卷積核進行卷積操作，得到不同長度的局部信息，其中第k組卷積核大小為k×3×3，且

基于Bi-ConvLSTM，從各高維特征中提取視頻序列的全局信息。

3.根據權利要求1所述的單目視覺里程計定位方法，其特征在于，

根據以下公式，計算位移損失值L_trans和姿態損失值L_rot：

其中，為預測出的位移，為預測出的角度，p_t，φ_t為對應真值，t表示圖像序號，t＝1，2，…，T，T表示圖像數量；表示二范數。

4.根據權利要求1所述的單目視覺里程計定位方法，其特征在于，根據以下公式，確定所述光流損失值L_ptotometric、約束損失值L_reg、極對損失值L_e及總損失值L_total：

L_e＝|q^TA^-T[r]_×RK^-1p|；

L_total＝L_trans+100L_rot+L_ptotometric+L_e+L_reg；

其中，(i，j)表示像素坐標位置，I_t表示第t幀圖像，I′(i，j，t+1)表示兩幀連續的圖像I(i，j，t)和I(i，j，t+1)以及FlowNet編碼器輸出光流合成的圖像；C(i，j)是(i，j)位置的掩膜值，表示該像素能被成功合成的置信度；兩幀連續的圖像I(i，j，t)和I(i，j，t+1)，通過估計出的光流提供源圖像和目標圖像之前的像素對應關系，q是目標圖像中的像素位置，p表示對應的在源圖像中的像素位置，A是相機內參，r和R是源圖像和目標圖像之間的相對位姿。

5.根據權利要求1-4中任一項所述的單目視覺里程計定位方法，其特征在于，所述單目視覺里程計定位方法還包括：

將各圖像的尺寸調整為統一大小。