[發明專利]一種基于室內實時稠密三維重建技術的VR系統

在審

• 申請號: 202010948469.3
• 申請日: 2020-09-10
• 公開（公告）號: CN112150609A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 劉帆;甘思靜;簡晟;潘逸煬;徐聿智;朱星
• 申請（專利權）人: 劉帆
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T19/00
• 代理公司: 昆明合眾智信知識產權事務所 53113
• 代理人: 劉建龍

本發明涉及一種基于室內實時稠密三維重建方法的VR系統，通過安裝在VR一體機前端的深度相機采集圖像，然后通過RGB?D深度相機將圖像變成深度圖像，將其導入實時稠密三維重建模塊，經過一系列的算法以及數據重組之后，建立三維模型并導入到游戲引擎，通過GPU實時渲染到OLED顯示屏上；同時使用者還可以通過UI界面自主增加內容，與三維模型一起通過GPU實時渲染，在OLED顯示屏上顯示用戶添加的內容以及周圍環境的三維模型；當使用者身體移動或者旋轉視角的時候，通過傳感器模塊獲得的數據導入CPU進行計算，將結果導入RGB?D深度相機，判斷是否再次采集圖像，重復上一過程。本系統最終解決了以往的VR系統的使用者移動身體無法改變場景的局限性，同時可以讓用戶添加的內容與周圍環境一同顯示，系統響應速度快，精度高。

技術領域

本發明涉及室內實時稠密三維重建技術，尤其涉及一種基于室內實時稠密三維重建技術的VR系統。

背景技術

由于計算機圖形學、計算機視覺、計算機圖像處理和計算機輔助設計的發展，三維重建技術也得到了飛速的提升，所謂的三維重建，從廣義上來講就是指對某些三維物體或者三維的場景的一種恢復和重構，重建出來的模型，方便計算機表示和處理。在某種程度上來說，三維重建即是一個對于真實環境的還原的一個過程，也是對三維物體或者場景圖像描述的一種逆過程，在這個過程中，想要實現精確的還原，就需要復雜的視覺算法以及圖形學的支持，同時對于裝置設備也有一定的要求。

而隨著各種消費級RGB-D傳感器的出現，基于這種傳感器，實時稠密三維重建方法也應運而生，其中以微軟的Kinect、華碩的Xtion以及英特爾的RealSenced等為代表的RGB-D 傳感器為代表，隨后又有許多算法專家,Newcombe,Davison等人分別提出了單目稠密重建算法DTAM以及KinectFusion算法，KinectFusion算法之后，陸續出現了Kintinuous，ElasticFusion，InfiniTAM，BundleFusion這些算法，目前，由斯坦福大學提出的BundleFusion算法效果較好，正是這些算法的出現極大的促進了這種實時稠密三維重建方法的具體運用。

而傳統的VR顯示，移動身體，不會使虛擬場景發生變化，即沒有對于現實環境的反饋效果，同時，VR所顯示的都是錄制好的內容，無法根據現實場景實時同步更新，用戶也不能輕易改變這些虛擬場景。

發明內容

有鑒于這種情況，在本發明中，主要將這種室內實時稠密三維重建技術用于VR系統進行顯示，解決了傳統的VR一體機無法與現實環境同步反饋，同時身體移動無法改變虛擬場景這些局限性，一定程度上彌補了VR的不足之處，通過這種室內實時稠密三維重建方法的運用，結合了VR和AR兩者之間的優勢，形成了本發明這一種基于室內實時稠密三維重建技術的VR系統。

本發明的目的通過以下技術方案實現：

一種基于室內實時稠密三維重建方法的VR系統，首先通過安裝在VR一體機前端的深度相機對周圍環境進行圖像采集，然后通過RGB-D深度相機的工作原理，將圖像變成深度圖像，將其導入實時稠密三維重建模塊，經過一系列的算法以及數據重組之后，建立起三維紋理模型，再將這個模型導入到游戲引擎，通過GPU實時渲染到OLED顯示屏上；同時使用者還可以通過UI界面自主增加內容，與三維模型一起通過GPU實時渲染，在OLED顯示屏上顯示用戶添加的內容以及周圍環境的三維紋理模型；當使用者身體移動或者旋轉視角的時候，通過測距傳感器以及IMU模塊獲得改變的數據導入CPU進行計算，將運算結果導入RGB-D深度相機，判斷是否使其再次采集圖像，重復上一過程。

本發明采用RGB-D深度相機，實時稠密三維重建模塊，VR一體機模塊，測距傳感器以及IMU模塊實現：一種基于室內實時稠密三維重建技術的VR系統，具體包括以下步驟：

步驟S1：RGB-D深度相機采集周圍環境圖像。

步驟S2：RGB-D深度相機將圖像處理成深度圖像。