[發明專利]基于視覺SLAM的三維場景重建方法和裝置

在審

• 申請號: 201810150119.5
• 申請日: 2018-02-13
• 公開（公告）號: CN108447116A
• 公開（公告）日: 2018-08-24
• 發明（設計）人: 葉龍;王孟迪;鐘微;方力;張勤
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/46;G06K9/62
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 李琳;王楠楠

本發明公開了一種基于視覺SLAM的三維場景重建方法和裝置，其中所述方法包括如下步驟：視覺信息獲取：使得移動機器人在三維場景中自由移動以采集圖像，并利用SLAM算法來估計所述移動機器人的位姿信息；點云重建：利用SIFT算法提取采集到的圖像中的特征點并進行匹配，并將匹配后的特征點和對應的所述移動機器人的位姿信息利用SFM算法進行稀疏點云重建，然后對重建的所述稀疏點云進行稠密點云重建；以及表面重建：對重建的稠密點云進行表面重建，從而完成對所述三維場景的重建。本發明運行速度高、對于硬件要求較低并且具有良好的尺度不變性。并且，本發明進一步重建出物體表面信息，從而使得重建的三維場景精度較高。

技術領域

本發明涉及三維場景重建的技術領域，具體地，涉及一種基于視覺SLAM 的三維場景重建方法和裝置。

背景技術

計算機視覺已經成為機器人領域的一個重大話題，實時定位和地圖構建 (SLAM)方法在過去十幾年吸引了大量的研究人員。在基于攝像傳感裝置 Kinect實現的單目視覺SLAM系統研究方面，尼古拉斯(Nikolas)等人利用 Kinect實現了一個實時SLAM系統，并將這一系統集成到只讀存儲器(ROS) 中。亨利(Henry)等人利用Kinect實現了一個交互的實時三維重建系統，即深度圖像映射(RGB-D Mapping)，該系統根據用戶需要，選取不同的關鍵幀進行最近點迭代算法(ICP)配準，其重建出的點云能很好的與建筑俯視圖相吻合，但該系統實際運行速度不高，未進行ICP配準運行幀率為5每秒幀數(fps)，而進行ICP配準后單幀處理時間至少需要500毫秒。微軟研究院的推出的 KinectFusion是一種基于圖形處理單元(GPU)計算的實時定位與重建系統，實現了動態場景的增強顯示。該系統利用GPU實現了實時ICP配準，并同步地生成三維環境地圖。由于ICP算法計算復雜度高，而利用GPU加速的ICP 算法對于硬件要求較高，制約了其使用范圍。

然而，現有技術中基于視覺SLAM的三維場景重建方法僅利用SLAM系統通過特征點匹配重建出點云，對于硬件要求較高，運行速度不高，SLAM 算法的尺度不變性較差，并且對于物體表面信息也沒有進行重建，從而重建的三維場景精度較差。

發明內容

鑒于以上問題，本發明結合了SLAM算法和運動恢復結構(SFM)算法，將圖片信息用SLAM算法估計移動機器人的位姿信息，并用SFM算法進行特征點提取與匹配并重建出點云。此外，還通過泊松算法對物體表面信息進行重建。

為了實現上述目的，本發明采用以下技術方案：

本發明公開了一種基于視覺SLAM的三維場景重建方法，包括如下步驟：步驟S1：視覺信息獲取：使得移動機器人在三維場景中自由移動以采集圖像，并利用SLAM算法來估計所述移動機器人的位姿信息；步驟S2：點云重建：利用SIFT算法提取采集到的圖像中的特征點并進行匹配，并將匹配后的特征點和對應的所述移動機器人的位姿信息利用SFM算法進行稀疏點云重建，然后進行稠密點云重建；以及步驟S3：表面重建：對重建的稠密點云進行表面重建，從而完成對所述三維場景的重建。

優選地，在步驟S1中，利用機器人傳感器Kinect相機來采集圖像，采集的圖像為彩色圖像和深度圖像。

優選地，在步驟S1中，利用所述SLAM算法的后端非線性優化算法來估計所述移動機器人的位姿信息。

優選地，在步驟S2中，利用所述SFM算法中的RANSAC算法進行稀疏點云重建，利用CMVS或PMVS算法進行稠密點云重建。

優選地，在步驟S3中，利用泊松算法進行表面重建。

優選地，在步驟S3中，對重建的稠密點云進行表面重建之前，先利用k-d 樹算法對重建的稠密點云進行雙邊濾波。