[發明專利]基于在線學習深度預測網絡的實時稠密單目SLAM方法與系統

有效

• 申請號: 201711227295.6
• 申請日: 2017-11-29
• 公開（公告）號: CN107945265B
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 楊欣;羅鴻城;高楊;吳宇豪
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/70;G06N3/04
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 嚴泉玉

1.一種基于在線學習深度預測網絡的實時稠密單目SLAM方法，其特征在于，包括如下步驟：

(1)從單目視覺傳感器通過旋轉和平移運動采集的圖片序列中選擇關鍵幀，通過最小化高梯度點的光度誤差優化得到關鍵幀的相機姿態，并且采用三角測量法預測高梯度點的深度得到當前幀的半稠密地圖；

(2)根據所述關鍵幀選擇在線訓練圖片對，采用逐塊隨機梯度下降法根據所述在線訓練圖片對來在線訓練更新CNN網絡模型，并利用訓練后CNN網絡模型對當前幀圖片進行深度預測得到稠密地圖；其中，采用逐塊隨機梯度下降法根據所述在線訓練圖片對來在線訓練更新CNN網絡模型，具體為：

將ResNet-50之中的卷積層分為5個塊，其中每一個塊具體表示為conv1,conv2_x,conv3_x,conv4_x,conv5_x；conv1由一個單一的7X7的全卷積層組成；conv2_x由一個3X3的卷積層和3個瓶頸構建塊共10層組成；conv3_x由4個瓶頸構建塊共12層組成；conv4_x由6個瓶頸構建塊共18層組成：conv5_x由3個瓶頸構建塊共9層組成，五個部分加起來構成了ResNet-50的50層結構；

在每一次在線學習和更新的過程之中，每一次迭代k，只更新一個部分的參數W_i，其中i＝1,2,3,4,5，保持剩余4個部分網絡層參數不變，而在下一次迭代中，更新第i塊參數，其中i＝(k+1)％5；其他層參數保持不變，整個在線學習和更新的迭代一直在進行，直到預設停止條件被滿足；

(3)根據所述當前幀的半稠密地圖和預測稠密地圖進行深度尺度回歸，得到當前幀深度信息的絕對尺度因子；

(4)根據相機姿態將所述預測稠密地圖通過位姿變換投影到上一關鍵幀中，并根據所述絕對尺度因子將所述半稠密地圖投影到上一關鍵幀中，采用NCC得分投票方法根據所述兩種投影結果選擇所述當前幀的各像素深度預測值得到預測深度圖，并對所述預測深度圖進行高斯融合得到最終深度圖。

2.如權利要求1所述的基于在線學習深度預測網絡的實時稠密單目SLAM方法，其特征在于，所述根據所述關鍵幀選擇在線訓練圖片對，具體為：采用如下約束條件在關鍵幀前后幀圖片中篩選圖片幀與所述關鍵幀構成圖片對：

第一，相機運動約束：兩幀圖片之間水平方向上的位移滿足|t_x|＞0.9*T，其中T代表兩幀圖片之間的基線距離；

第二，視差約束：對于每一對圖片，采用光流法計算圖片間的垂直方向的平均視差Dis_avg，只有當Dis_avg小于預設閾值δ時才會將該對圖片保存為候選訓練圖片；

第三，多樣性約束：同一個關鍵幀只能產生一對訓練圖片；

第四，訓練池容量約束：每當訓練圖片對的數量到達設定閾值V時，就將訓練池中的圖片送入到網絡，對網絡進行在線訓練，保存訓練得到的網絡模型，同時清空訓練池繼續進行訓練數據的篩選。

3.如權利要求1或2所述的基于在線學習深度預測網絡的實時稠密單目SLAM方法，其特征在于，所述在線訓練更新CNN網絡模型為選擇性更新，具體為：

計算每一批輸入到CNN網絡模型之中圖片的訓練損失函數，一旦一批圖片的所有圖片的損失函數都大于預先設定的閾值L_high，將啟動在線學習和更新的進程，在線學習和更新的進程將會一直進行，直到訓練圖片的損失函數降到閾值L_low之下，或者是迭代的次數達到了預先設定的閾值。

4.如權利要求1或2所述的基于在線學習深度預測網絡的實時稠密單目SLAM方法，其特征在于，所述深度尺度回歸方法為：RANSAC算法或最小二乘算法。