[發明專利]一種基于在線深度學習SLAM的圖像云計算方法及系統

有效

• 申請號: 201810373550.6
• 申請日: 2018-04-24
• 公開（公告）號: CN108921893B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 李迪;楚英;王世勇;楊嘯
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳宏升

1.一種基于在線深度學習SLAM的圖像云計算方法，其特征在于，包括以下步驟：

S1、采集圖像數據，并將圖像數據存儲在存儲器中；

S2、對存儲器中的圖像數據提取關鍵幀，將關鍵幀上傳至云計算平臺；

S3、將云計算平臺上的歷史數據構建數據集，利用MapReduce訓練卷積神經網絡，對數據集進行訓練，得到最優卷積神經網絡參數；

S4、用最優卷積神經網絡參數對實時數據進行實時分析，即在云計算平臺上提取實時獲取圖像的實時關鍵幀作為Storm的輸入源，利用最優卷積神經網絡參數，提取圖像特征點，對每幀圖像特征點進行識別，對相鄰幀圖像進行特征點匹配；

S5、利用RANSAC算法進行圖像特征點篩選，通過迭代，計算出最佳匹配變換矩陣，同時利用慣性測量單元IMU提供的位姿信息進行糾正，得到圖像處理后計算得到的位姿信息；

S6、利用算法ICP通過點云數據的配準，改善初始位姿估計的效果，同時利用慣性測量單元IMU提供的位姿信息，當圖像處理后計算得到的位姿信息與IMU測量位姿信息相差小于閾值時，將兩者進行1比1的加權平均；當圖像處理后計算得到的位姿信息與IMU測量位姿信息相差大于閾值時，兩者數據進行擴展卡爾曼濾波優化，得到最優位姿估計；根據最優位姿估計，物體實現自主定位和自主導航；

S7、通過矩陣變換將位姿信息變換到一個坐標系下，進而得到圖像數據的地圖信息；將精度不足，即誤差大于M的區域實時反饋到云計算平臺，從圖像數據采集層獲取二次關鍵幀，并重復步驟S4至步驟S7；

S8、創建不同面向問題的視圖，服務層通過對數據實時層數據和圖像批處理層數據進行處理，通過可視化的方式將結果傳遞到客戶端，同時根據實時采集的數據進行在線調整。

2.根據權利要求1所述的一種基于在線深度學習SLAM的圖像云計算方法，其特征在于，在步驟S1中，所述圖像數據包括RGBD圖像和深度圖像；所述采集圖像數據，通過圖像數據采集層利用流媒體服務器的圖像流，將拍攝的圖像數據存儲到存儲系統中。

3.根據權利要求1所述的一種基于在線深度學習SLAM的圖像云計算方法，其特征在于，在步驟S3中，所述MapReduce訓練卷積神經網絡對數據集進行訓練，具體為：輸入階段：將待處理數據分割成固定大小片段，再將每個片段進一步分解成鍵值對；Map階段：每個Map任務用map函數處理一個片段，并將生成的中間數據進行保存；Reduce階段：根據Map階段產生的中間數據，調用reduce函數進行處理，得到最優卷積神經網絡參數；輸出階段：將最優卷積神經網絡參數輸出；

在訓練過程中，使用梯度下降法，根據損失函數比較當前網絡的預測值和目標值，再根據預測值和目標值的差異情況來更新每一層的權重矩陣；如果網絡的預測值比目標值高，則調整權重讓它預測值降低，不斷調整，直到能夠預測出目標值，此時即為最優卷積神經網絡參數；

所述卷積神經網絡包括三個部分：第一部分為輸出層；第二部分為多個卷積層和池化層組合；第三部分為全結構的多層感知機分類器構成；所述卷積層，一個卷積層包含多個特征平面的神經元共享權值，即卷積核；所述卷積核以隨機小數矩陣的形式初始化，在網絡的訓練過程中卷積核將學習得到合理的權值；訓練卷積神經網絡時，隨機賦值初始權重和偏置，即網絡自動習得。