[發(fā)明專利]一種基于深度特征光流的同時定位和建圖的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010565428.6
• 申請日: 2020-06-19
• 公開（公告）號: CN111739144A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設計）人: 向坤;陶文源;閆野;唐榮富;陶雨薇
• 申請（專利權）人: 天津大學
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T7/80;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于深度特征光流的同時定位和建圖的方法，其特征在于，所述方法包括：

根據(jù)特征光流映射模型估計兩幀圖像之間的特征光流信息；

設計基于特征光流的視覺里程計，用于圖像的特征提取、特征追蹤、搭載相機主體的位姿估計、以及圖像三維特征恢復；

在視覺里程計追蹤失敗時，通過重定位技術完成視覺特征的重新匹配；

檢測主體是否運動到之前已經(jīng)經(jīng)過的區(qū)域，實現(xiàn)尺度上的位姿優(yōu)化；

對視覺里程計提供的圖像三維特征信息、主體位姿信息進行迭代優(yōu)化，減少誤差；

使用經(jīng)過后端優(yōu)化的圖像三維特征信息和主體的位姿信息，構建出環(huán)境的三維地圖。

2.根據(jù)權利要求1所述的一種基于深度特征光流的同時定位和建圖的方法，其特征在于，所述設計基于特征光流的視覺里程計具體為：

S1.1、采集圖像數(shù)據(jù)和特征光流真實值的數(shù)據(jù)集大樣本，分為訓練集和測試集；

S1.2、建立圖像金字塔層相對于層圖像縮放2倍，每層圖像金字塔中進行光流特征提取和迭代優(yōu)化；

S1.3、對估計的光流f^l+1進行一個2倍的上采樣，結合進行圖像變換操作，得到

S1.4、將得到的和進行相關性計算得到cv^l；

S1.5、建立光流估計局部網(wǎng)絡，輸入為圖像金字塔的l層圖像圖像相關值cv^l，l+1層的上采樣光流up₂(f^l+1)，先建立5層的卷積網(wǎng)絡，輸出為初步的特征光流w^l，再建立第六層卷積網(wǎng)絡，輸出精確化的特征光流v^l；

S1.6、建立光流優(yōu)化局部網(wǎng)絡，輸入為初步的特征光流w^l，精確化的特征光流v^l，先建立5層的卷積網(wǎng)絡，再建立卷積核個數(shù)為2的第六層卷積網(wǎng)絡，輸出優(yōu)化后的光流f^l；

S1.7、迭代的在每層圖像金字塔進行S1.3～S1.6操作，第0層輸出的光流圖為所求的兩幀圖像的特征光流f；

S1.8、使用訓練集對特征光流映射模型進行訓練，使用測試集進行誤差檢測；

S1.9、對于測試集圖像序列的第一幀圖像I₁，限定特征點間距為d像素，限定特征點提取數(shù)量為n；

S1.10、將第一、二幀圖像幀圖像I₁和第I₂輸入光流網(wǎng)絡中，預測出兩幀圖像間的特征光流圖f₁；

S1.11、特征光流圖f為雙通道圖像，第一通道中坐標(x，y)處存儲的值，對應圖像I₁上點的x方向位移u，第二通道中坐標(x，y)處存儲的值，對應圖像I₁上點的y方向位移v；

S1.12、解析特征光流圖f₁，計算第二幀圖像I₂上對應的特征點

S1.13、對跟蹤后的特征點進行檢測，標注出無效的點；

S1.14、對于追蹤成功的點對求出對應的空間3D點，定義為地圖點；

S1.15、將第一幀圖像I₁時主體位姿設為標準位姿T₁；

S1.16、通過地圖點和圖像特征點的對應關系，求解出第二幀圖像I₂時主體位姿T₂；

S1.17、對特征點進行閾值判斷，特征點數(shù)小于閾值n時，在第二幀圖像I₂上重新提取Fast特征點，補充特征點數(shù)到n；

S1.18、輸入下一幀圖像I_j；將圖像I_j-1和圖像I_j輸入到特征光流映射模型中，預測出兩幀圖像間的特征光流圖f_j-1；

S1.19、判斷是否到達最后一幀，如果否重復步驟S1.12～S1.19。

3.根據(jù)權利要求1所述的一種基于深度特征光流的同時定位和建圖的方法，其特征在于，所述通過重定位技術完成視覺特征的重新匹配具體為：

將I_j幀設為起始幀，I_j幀對應主體位姿設為標準位姿T_j；在I_j為起始幀的基礎上，輸入下一幀圖像，重復視覺里程計中的追蹤過程。