[發明專利]虛擬模型及其構建方法、交互方法以及電子設備

在審

• 申請號: 202110481008.4
• 申請日: 2021-04-30
• 公開（公告）號: CN113344770A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 王晨;劉藝歡
• 申請（專利權）人: 螳螂慧視科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T17/00;G06K9/00;G10L15/08
• 代理公司: 上海得民頌知識產權代理有限公司 31379
• 代理人: 傅云

1.一種虛擬模型的構建方法，其特征在于，包括：

獲取目標人物的三維模型；

利用標準模型對所述三維模型進行參數化處理，以得到所述標準模型中每個點的目標變換矩陣；

基于所述目標變換矩陣對所述標準模型中的每個點進行變換處理，以得到變換后的標準模型；

對所述變換后的標準模型進行編輯，以得到虛擬模型，其中，所述虛擬模型中包含多個表情目標體。

2.根據權利要求1所述的方法，其特征在于，所述利用標準模型對所述三維模型進行參數化處理，以得到所述標準模型中每個點的目標變換矩陣，包括：

根據所述三維模型中的每個鄰接點的約束，獲得第一誤差項；

根據所述標準模型中每個點的變換矩陣的約束，獲得第二誤差項；

根據所述標準模型與所述三維模型中對應點的約束，獲得第三誤差項；

根據所述第一誤差項、所述第二誤差項以及所述第三誤差項的加權和最小值，確定目標變換矩陣。

3.根據權利要求2所述的方法，其特征在于，所述第一誤差項由公式

計算得到，其中，E_S為第一誤差項，T_i與T_j為變換矩陣，

所述第二誤差項由公式

計算得到，其中，E_I為第二誤差項，

所述第三誤差項由公式

計算得到，其中，E_C為第三誤差項，，V_i為所述標準模型中經變換矩陣變換后的第i個點的坐標，Ci為所述三維模型中與所述標準模型中的Vi點相對應的第i個點的坐標，

所述權重和最小值由公式

計算得到，其中，W_S、W_I、W_C為權重值。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述對所述變換后的標準模型進行編輯，以得到虛擬模型，包括：

響應用戶編輯表情目標體的操作，在所述變換后的標準模型中構建多個所述表情目標體，以得到虛擬模型。

5.一種虛擬模型的交互方法，其特征在于，包括：

獲取用戶輸入的交互信息；

基于所述交互信息，獲取視頻流，其中，所述視頻流中包含多個畫面；

從每個所述畫面中，提取得到人物面部特征；

基于所述人物面部特征以及虛擬模型，獲取所述虛擬模型中多個表情目標體的表情系數，所述虛擬模型由如權利要求1至4任一項所述的方法獲得；

基于每個所述表情目標體的表情系數，對所述虛擬模型進行驅動，其中，驅動后的虛擬模型進行動態顯示。

6.根據權利要求5所述的方法，其特征在于，所述從所述多個畫面中，提取得到人物面部特征，包括：

從每個所述畫面中獲取采集到的人物面部圖像；

對所述人物面部圖像進行特征提取，以獲得人物面部特征。

7.根據權利要求5所述的方法，其特征在于，所述從所述多個畫面中，提取得到人物面部特征，包括：

從每個所述畫面中獲取采集到的語音信號；

對所述語音信號中每個字的口型進行識別，以獲得人物面部特征。

8.根據權利要求5至7任一項所述的方法，其特征在于，驅動后的虛擬模型由公式

計算得到，其中，Base為虛擬模型，B_i為第i個表情目標體，W_i為第i個表情目標體的表情系數，B為驅動后的虛擬模型。

9.一種虛擬模型，其特征在于，所述虛擬模型由如權利要求1至4任一項所述的方法構建得到，所述虛擬模型用于在電子設備中進行顯示。

10.一種電子設備，其特征在于，包括：

一個或多個處理器；存儲器；以及一個或多個計算機程序，其中所述一個或多個計算機程序被存儲在所述存儲器中，所述一個或多個計算機程序包括指令，當所述指令被所述設備執行時，使得所述設備執行如權利要求1至8任一項所述的方法。