[發明專利]基于Hololens2的三維全息視頻會議系統

在審

• 申請號: 202110372532.8
• 申請日: 2021-04-07
• 公開（公告）號: CN113079340A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 嚴愉程;沈真;軒轅福泰;程龍;唐年福
• 申請（專利權）人: 西北工業大學
• 主分類號: H04N7/15
• 分類號: H04N7/15;G06T17/00
• 代理公司: 西安中科匯知識產權代理有限公司 61254
• 代理人: 汪重慶

1.基于Hololens2的三維全息視頻會議系統，其特征在于：包括多臺深度相機，多臺深度相機采集深度圖像數據，多臺深度相機通過USB分別連接到多臺用于采集深度圖像數據的PC端上，還包括一PC端作為服務端，所述采集深度圖像數據的PC端通過網絡協議將收集到的數據發送到所述服務端，在所述服務端上進行深度相機的校準與點云的拼接和優化后得到點云模型，或者通過深度學習，得到人體骨骼數據，用于驅動數字虛擬人，還包括一臺Hololens2，通過網絡UDP協議將生成的三維場景傳輸到Hololens2上，所述Hololens2用于顯示得到的三維點云模型和虛擬人模型。

2.根據權利要求1所述的基于Hololens2的三維全息視頻會議系統，其特征在于：所述深度相機采用AzureKinect。

3.根據權利要求1所述的基于Hololens2的三維全息視頻會議系統，其特征在于：與所述深度相機相連的PC端采用windows10系統。

4.根據權利要求1所述的基于Hololens2的三維全息視頻會議系統，其特征在于：所述服務端的PC軟硬件要求為：windows10系統、CPU為i7-8700k，顯卡為GTX1070。

5.根據權利要求1所述的基于Hololens2的三維全息視頻會議系統，其特征在于：所述用于顯示得到的三維點云模型和虛擬人模型還可以采用其他的VR/MR設備。

6.根據權利要求1所述的基于Hololens2的三維全息視頻會議系統，其特征在于：所述點云模型的算法，具體包括：

S1.1：首先需要將多臺深度相機進行相機標定，得到相機的內外參數，將每臺深度相機的數據放到統一的世界坐標系下，得到粗略的點云模型；

S1.2：然后對這些點云數據進行ICP點云拼接算法，得到精準的點云模型；

S1.3：采用計算機視覺的視頻分割算法，只保留人體的模型或者物體模型，除去背景。

7.根據權利要求1所述的基于Hololens2的三維全息視頻會議系統，其特征在于：所述Hololens2顯示三維點云模型和虛擬人模型的步驟為：

使用UDP協議進行網絡編程，接受服務端傳來的三維點云數據和人體骨骼數據，其中三維點云數據在一幀當中，每一個數據點包含了x，y，z坐標數據和RGB顏色數據；

數字虛擬人模型，使用unity提供的骨骼綁定技術，將數字虛擬人的骨骼和人體的骨骼進行綁定。