[發明專利]一種通過手勢控制的AR空間可視三維重建方法

在審

• 申請號: 202010926564.3
• 申請日: 2020-09-07
• 公開（公告）號: CN114155288A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 陳雨
• 申請（專利權）人: 南京智導智能科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/70;G06T7/80;G06T17/00;G06T19/00;G06F17/16;G06F3/01;G06K17/00
• 代理公司: 天津垠坤知識產權代理有限公司 12248
• 代理人: 王忠瑋

一種通過手勢控制的AR空間可視三維重建方法，其包括以下步驟：1：對AR眼鏡相機和深度相機C1進行聯合標定；2：通過手勢交互確定包圍目標物體的包圍盒；3：開啟三維重建；4：客戶端進行可視化，同時實現虛實注冊；5：用戶通過手勢暫停三維重建過程，查看當前的三維重建進度；6：將目標物體移動、旋轉到新的觀察角度，然后通過手勢重新開啟三維重建算法；7：通過手勢結束三維重建算法，輸出虛擬模型。本發明通過手勢控制的AR空間可視三維重建方法可在AR端實時看到三維重建的當前結果，使用基于手勢傳感器的人體自然手勢動作，控制重建流程。

【技術領域】

本發明涉及三維重建技術領域，具體為一種通過手勢控制的AR空間可視三維重建方法。

【背景技術】

三維重建是指對三維物體建立適合計算機表示和處理的數學模型,是在計算機環境下對其進行處理、操作和分析其性質的基礎,也是在計算機中建立表達客觀世界的虛擬現實的關鍵技術。

早期的三維重建技術通常以二維圖像作為輸入，重建出場景中的三維模型。但是，受限于輸入的數據，重建出的三維模型通常不夠完整，而且真實感較低。隨著各種面向普通消費者的深度相機(depth camera)的出現，基于深度相機的三維掃描和重建技術得到了飛速發展。

現階段采用的AR三維重建方法具有以下缺陷：

(1)使用單個相機無法對物體的盲區角度進行掃描重建。

(2)三維重建算法在電腦端運行，AR用戶手持或者頭戴深度相機無法實時把控重建的進度。

(3)使用鼠標、鍵盤控制整個重建流程，不符合人體自然習慣。

由此可見，提供一種通過手勢控制的AR空間可視三維重建方法是本領域亟需解決的問題。

【發明內容】

針對上述問題，本發明通過手勢控制的AR空間可視三維重建方法可在AR端實時看到三維重建的當前結果，使用基于手勢傳感器的人體自然手勢動作，控制重建流程，支持暫停三維重建流程，將物體旋轉、移動到新的觀察角度，從新角度開始三維重建。

為解決上述問題，提供一種通過手勢控制的AR空間可視三維重建方法，其包括以下步驟：

步驟一：對AR眼鏡相機和深度相機C1進行聯合標定，得到兩組相機坐標系之間的坐標轉換關系；

步驟二：用戶佩戴AR眼鏡站于工作臺前，通過手勢交互確定包圍目標物體的包圍盒；

步驟三：開啟三維重建，并自由變換視角觀察工作臺上擺放的物體，深度相機C1將不斷采集RGB-D數據，并通過Elastic Fusion算法對場景進行實時三維重建；

步驟四：將點云形式的物體虛擬模型傳輸給服務器，再由服務器發放給AR客戶端進行可視化，同時實現虛實注冊；

步驟五：用戶通過手勢暫停三維重建過程，查看當前的三維重建進度；

步驟六：用戶根據步驟五的判斷情況，可以將目標物體移動、旋轉到新的觀察角度，然后通過手勢重新開啟三維重建算法，算法將從新的角度繼續對三維重建模型的表面進行掃描填充；

步驟七：重復進行步驟五和步驟六，用戶判斷三維重建模型達到預期目標時，通過手勢結束三維重建算法，輸出虛擬模型。

進一步的，所述手勢的全部實現均建立在硬件設備Leap Motion的基礎之上，LeapMotion通過對獲取到的視頻圖像進行處理，能夠定位到圖像中手指指尖、關節、手掌、手腕在三維物理空間中的位置；然后在增強現實環境中疊加人手模型預制體到該位置，通過關節和指尖點、手掌、手腕23個關鍵點來確定手與手掌的位置、姿態。