[發明專利]基于人臉建模及表情追蹤的VR會議控制系統及方法

在審

• 申請號: 202010717430.0
• 申請日: 2020-07-23
• 公開（公告）號: CN111881807A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 何寶華;沈睦生;嚴明月
• 申請（專利權）人: 深圳市凱達爾科技實業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;H04N7/15
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 胡吉科

本發明公開了一種基于人臉建模及表情追蹤的VR會議控制系統及方法，包括會議場景選擇模塊、人臉檢測模塊、特征點提取模塊、3D人臉模型生成模塊、面部表情跟蹤模塊和交互模塊，會議場景選擇模塊用于根據用戶選擇進入會議場景，人臉檢測模塊用于識別佩戴者的人臉信息，面部表情跟蹤模塊用于每隔預設時間段獲取人臉信息中若干特征點，并實時映射到3D人臉模型中，交互模塊用于將會議場景以及3D人臉模型輸出。本發明，能夠準確、實時將人臉信息中各特征點實時變化更新至3D人臉模型中，即能夠在虛擬場景中觀察到會議中各參與者的表情變化，更加逼真以及能夠清楚了解到除了聲音之外的信息。

技術領域

本發明屬于虛擬場景技術領域，尤其涉及一種基于人臉建模及表情追蹤的VR會議控制系統及方法。

背景技術

目前，已有的VR系統主要是采用虛擬現實技術在現有的情景化會議系統上進行場景3D化，結合視頻會議和3D技術實現在語音、視頻系統與3D虛擬畫面的全面結合下進行網絡視頻會議，縮短人與人之間的距離，實現跨地域的連接與互動。可通過屏幕上虛擬世界內的交互展示。然而在人與人的交流過程中，多以傳達聲音為主，真實感較差。

因此，現有技術有待于改善。

發明內容

本發明的主要目的在于提出一種基于人臉建模及表情追蹤的VR會議控制系統及方法，以解決背景技術中所提及的技術問題。

本發明的一種基于人臉建模及表情追蹤的VR會議控制系統，包括會議場景選擇模塊、人臉檢測模塊、特征點提取模塊、3D人臉模型生成模塊、面部表情跟蹤模塊和交互模塊，會議場景選擇模塊用于根據用戶選擇進入會議場景，人臉檢測模塊用于識別佩戴者的人臉信息，特征點提取模塊用于獲取人臉信息并提取若干特征點的相對位置信息，3D人臉模型生成模塊用于根據位置信息確定3D人臉模型，面部表情跟蹤模塊用于每隔預設時間段獲取人臉信息中若干特征點，并實時映射到3D人臉模型中，交互模塊輸出會議場景以及參與會議場景的每個佩戴者所對應的3D人臉模型。

優選地，交互模塊包括VR頭顯設備。

優選地，VR頭顯設備內置有顯示模塊、攝像頭和存儲模塊。

優選地，存儲模塊存儲有至少兩個會議場景和至少兩個經ASM算法計算出的3D人臉模型。

本發明還提供了一種基于人臉建模及表情追蹤的VR會議控制方法，包括以下步驟：

步驟S10，佩戴者佩戴交互模塊后，接收佩戴者的選擇并進入會議場景；

步驟S20，交互模塊中的攝像頭獲取設備內的實時照片，從實時照片中識別佩戴者的人臉信息；

步驟S30，從人臉信息中識別至少三個特征點，并計算相對位置信息；

步驟S40，根據相對位置信息確定3D人臉模型；

步驟S50，每隔預設時間段獲取人臉信息中若干特征點，并實時映射到3D人臉模型。

優選地，還包括步驟：

步驟S60，交互模塊輸出會議場景以及參與會議場景的每個佩戴者所對應的3D人臉模型。

優選地，人臉信息包括實時照片中的人臉區域部分，特征點至少包括鼻、嘴、左眼、右眼和耳朵。

優選地，相對位置信息包括第一相對距離和第二相對距離，步驟S30具體包括：

步驟S31，從人臉信息中識別出鼻、左眼和右眼；

步驟S32，以鼻為坐標中心，建立坐標系，獲取左眼坐標信息和右眼坐標信息；

步驟S33，根據鼻坐標信息、左眼坐標信息和右眼坐標信息所在位置計算第一相對距離和第二相對距離，其中，第一相對距離表示左眼和鼻之間的距離，第二相對距離表示左眼和右眼之間距離。