[發明專利]一種基于在線深度學習SLAM的圖像云計算方法及系統

有效

• 申請號: 201810373550.6
• 申請日: 2018-04-24
• 公開（公告）號: CN108921893B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 李迪;楚英;王世勇;楊嘯
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳宏升

本發明公開了一種基于在線深度學習SLAM的圖像云計算方法，包括以下步驟：采集圖像數據并存儲；提取關鍵幀上傳；將圖像數據構建數據集并進行訓練，得到最優卷積神經網絡參數；提取實時圖像特征點進行識別，對相鄰幀圖像進行特征點匹配；圖像特征點通過迭代，得出最佳匹配變換矩陣，利用位置姿態信息糾正，得到相機位姿變換；通過點云數據的配準和位置姿態信息，得到最優位姿估計；通過矩陣變換將位姿信息變換到一個坐標系，得到地圖信息；精度不夠的區域重復前面步驟；客戶端顯示結果，同時進行在線調整；本發明將圖像處理、深度學習訓練和SLAM利用云計算技術并行化，提高圖像處理、定位與建圖的效率及準確率。

技術領域

本發明涉及圖像處理研究領域，特別涉及一種基于在線深度學習SLAM的圖像云計算方法及系統。

背景技術

目前，隨著移動機器人的發展，人們對其的需求也逐漸增加，如：無人駕駛、掃地機器人、3D打印、刑偵現場記錄等方面，極大的方便了人們的生活，但同時也出現了一些新的問題。現有技術中，由于存在傳感器精度低、計算量大等問題，會花費大量時間，而且不夠完善，效果也不是很理想，基于三維視覺的SLAM的發展受到了一定的阻力。

近年來，深度學習發展迅猛，在棋類博弈和一些模擬游戲中取得了很好的成績。云計算的出現使得大數據的采集與分析成為可能，深度學習作為機器學習領域一個重要發展方向，也將影響人工智能等其他領域。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種基于在線深度學習SLAM的圖像云計算方法。

本發明的另一目的是提供一種基于在線深度學習SLAM的圖像云計算系統。

本發明的目的通過以下的技術方案實現：

一種基于在線深度學習SLAM的圖像云計算方法，包括以下步驟：

S1、采集圖像數據，并將圖像數據存儲在存儲器中；

S2、對存儲器中的圖像數據提取關鍵幀，將關鍵幀上傳至云計算平臺；

S3、將云計算平臺上的歷史數據構建數據集，利用MapReduce訓練卷積神經網絡對數據集進行訓練，得到最優卷積神經網絡參數；

S4、用最優卷積神經網絡參數對實時數據進行實時分析，即在云計算平臺上提取實時獲取圖像的實時關鍵幀作為Storm的輸入源，利用最優卷積神經網絡參數，提取圖像特征點，對每幀圖像特征點進行識別，對相鄰幀圖像進行特征點匹配；

S5、利用RANSAC算法進行圖像特征點篩選，通過迭代，計算出最佳匹配變換矩陣，同時利用慣性測量單元IMU提供的位姿信息進行糾正，得到圖像處理后計算得到的位姿信息；

S6、利用算法ICP通過點云數據的配準，改善初始位位姿估計的效果，同時利用慣性測量單元IMU提供的位姿信息，當圖像處理后計算得到的位姿信息與IMU測量位姿信息相差小于閾值時，將兩者進行1比1的加權平均；當圖像處理后計算得到的位姿信息與IMU測量位姿信息相差大于閾值時，兩者數據進行擴展卡爾曼濾波優化，得到最優位姿估計；根據最優位姿估計，物體實現自主定位和自主導航；

S7、通過矩陣變換將位姿信息變換到一個坐標系下，進而得到該場景的地圖信息；將精度精度不足，即誤差大于M的區域實時反饋到云計算平臺，M＝10mm，從圖像數據采集層獲取二次關鍵幀，并重復步驟S4至步驟S7；

S8、創建不同面向問題的視圖，服務層通過對數據實時層數據和圖像批處理層數據進行處理，通過可視化的方式將結果傳遞到客戶端，同時根據實時采集的數據進行在線調整。

在步驟S1中，所述圖像數據采集由RGBD攝像頭采集；所述圖像數據包括RGBD圖像和深度圖像；所述圖像采集，通過圖像數據采集層利用流媒體服務器的圖像流，將拍攝的圖像數據存儲到存儲系統中；