[發明專利]基于手持移動設備的動態實時三維重建方法和系統

在審

• 申請號: 201711228561.7
• 申請日: 2017-11-29
• 公開（公告）號: CN108053435A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 劉燁斌;王立禎;黃源浩
• 申請（專利權）人: 深圳奧比中光科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/90;G06T15/04;G06T17/00
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明提供一種基于手持移動設備的動態實時三維重建方法和系統，其方法包括如下步驟：同步采集場景的彩色圖像和深度圖像；對彩色圖像和深度圖像數據進行無損壓縮；將壓縮后數據同步傳輸給處理單元；解壓得到彩色圖像序列和深度圖像序列；根據標定好的彩色相機和深度相機之間的轉換矩陣；進行動態三維重建；將動態三維重建的模型進行紋理貼圖，紋理貼圖后的模型傳輸給手持移動設備并在手持移動設備上顯示。本發明對場景中的靜態物體和運動物體的動態三維重建過程更加方便，使場景和場景中運動物體可以得到三維重建的結果；通過動態實時三維重建算法，可以得到準確的三維重建模型，包括更好的模型幾何細節、反射率和動作信息。

技術領域

本發明涉及計算機視覺中的三維重建領域，尤其涉及一種基于手持移動設備的動態實時三維重建方法和系統。

背景技術

隨著計算機視覺領域中的三維重建技術的不斷發展，動態場景的三維重建技術成為了計算機領域中的一個研究熱點，新的動態場景的三維重建方法不斷地涌現，重建出的模型的精度和幾何細節等效果也在不斷提升。

在算法方面，現在流行的進行動態場景的三維重建方法包括利用多場景的輸入、控制周圍環境、利用初始化模型或動作先驗等去恢復一個場景的幾何、表面和運動信息。許多同步重建動態場景的算法在計算機視覺和圖形學領域都有重要作用。例如，重建幾何和表面信息的模型可以用于虛擬現實技術的自由視點的視頻中。盡管動態場景的三維重建技術已經有了很大的發展，但由于過于龐大的解空間，導致動態場景的三維重建對精細的攝像環境、攝像設備和處理設備都有一定的要求。

在單視角的彩色和深度攝像機重建動態場景的技術中，已經出現了效果較好的動態實時重建算法，然而現行算法采用的多是不可交互的三腳架固定深度攝像機，如Kinect深度攝像機等。通過圖形用戶界面在相機端觀察結果的基于手持移動設備的動態實時三維重建還沒有切實可行的方法。

發明內容

本發明為了解決現有技術中沒有通過圖形用戶界面在相機端觀察結果的基于手持移動設備的動態實時三維重建方法的問題，提供一種基于手持移動設備的動態實時三維重建方法和系統。

為了解決上述問題，本發明采用的技術方案如下所述：

提供一種基于手持移動設備的動態實時三維重建的方法，包括如下步驟：S1：利用手持移動設備的彩色相機和可以固定在手持移動設備上的深度相機同步采集場景的彩色圖像和深度圖像，手持移動設備是手機、平板或攝像機；S2：將獲得的彩色圖像和深度圖像數據作為普通二進制數據進行無損壓縮，無損壓縮采用的方法是LZ4壓縮算法；S3：采用Socket通信將壓縮后的彩色圖像二進制數據和深度圖像二進制數據通過兩條通道同步傳輸給處理單元，處理單元是臺式機或云端；S4：對彩色圖像二進制數據和深度圖像二進制數據解壓得到彩色圖像序列和深度圖像序列；S5：根據標定好的彩色相機和深度相機之間的轉換矩陣，將解壓得到的深度圖像序列轉換成彩色相機的三維坐標系下的深度圖像序列；S6：根據轉換后的深度圖像序列和解壓得到的彩色圖像序列進行基于單視角彩色深度相機的幾何、反射率和動作的動態三維重建；包括如下步驟：S61：關節運動和光照優化：從當前拍攝幀和上一幀所得到的靜態模型中估計非剛性表面運動和低頻環境光照；S62：靜態模型更新：根據當前拍攝幀的彩色圖像和深度圖像解出新的運動，再根據低頻環境光照解出反射率，從而進行靜態模型的更新。S7：將動態三維重建的模型進行紋理貼圖，傳輸采用Socket通信將紋理貼圖后的模型傳輸給手持移動設備并在手持移動設備上顯示，模型通過應用軟件在手持移動設備上顯示，通過應用軟件對模型進行調整。

提供一種基于手持移動設備的動態實時三維重建的系統，包括：帶有彩色相機的手持移動設備，用于獲取場景的彩色圖像，并顯示、調整三維重建模型；固定在深度相機，用于同步獲取場景的深度圖像；與手持移動設備和深度相機可以進行數據傳輸的處理單元，用于處理彩色圖像和深度圖像。在變通實施例中，還包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-8任一所述方法的步驟。