[發(fā)明專利]虛擬模型及其構(gòu)建方法、交互方法以及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110481008.4
• 申請日: 2021-04-30
• 公開（公告）號: CN113344770A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 王晨;劉藝歡
• 申請（專利權(quán)）人: 螳螂慧視科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T17/00;G06K9/00;G10L15/08
• 代理公司: 上海得民頌知識產(chǎn)權(quán)代理有限公司 31379
• 代理人: 傅云

1.一種虛擬模型的構(gòu)建方法，其特征在于，包括：

獲取目標人物的三維模型；

利用標準模型對所述三維模型進行參數(shù)化處理，以得到所述標準模型中每個點的目標變換矩陣；

基于所述目標變換矩陣對所述標準模型中的每個點進行變換處理，以得到變換后的標準模型；

對所述變換后的標準模型進行編輯，以得到虛擬模型，其中，所述虛擬模型中包含多個表情目標體。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用標準模型對所述三維模型進行參數(shù)化處理，以得到所述標準模型中每個點的目標變換矩陣，包括：

根據(jù)所述三維模型中的每個鄰接點的約束，獲得第一誤差項；

根據(jù)所述標準模型中每個點的變換矩陣的約束，獲得第二誤差項；

根據(jù)所述標準模型與所述三維模型中對應(yīng)點的約束，獲得第三誤差項；

根據(jù)所述第一誤差項、所述第二誤差項以及所述第三誤差項的加權(quán)和最小值，確定目標變換矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一誤差項由公式

計算得到，其中，E_S為第一誤差項，T_i與T_j為變換矩陣，

所述第二誤差項由公式

計算得到，其中，E_I為第二誤差項，

所述第三誤差項由公式

計算得到，其中，E_C為第三誤差項，，V_i為所述標準模型中經(jīng)變換矩陣變換后的第i個點的坐標，Ci為所述三維模型中與所述標準模型中的Vi點相對應(yīng)的第i個點的坐標，

所述權(quán)重和最小值由公式

計算得到，其中，W_S、W_I、W_C為權(quán)重值。

4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述對所述變換后的標準模型進行編輯，以得到虛擬模型，包括：

響應(yīng)用戶編輯表情目標體的操作，在所述變換后的標準模型中構(gòu)建多個所述表情目標體，以得到虛擬模型。

5.一種虛擬模型的交互方法，其特征在于，包括：

獲取用戶輸入的交互信息；

基于所述交互信息，獲取視頻流，其中，所述視頻流中包含多個畫面；

從每個所述畫面中，提取得到人物面部特征；

基于所述人物面部特征以及虛擬模型，獲取所述虛擬模型中多個表情目標體的表情系數(shù)，所述虛擬模型由如權(quán)利要求1至4任一項所述的方法獲得；

基于每個所述表情目標體的表情系數(shù)，對所述虛擬模型進行驅(qū)動，其中，驅(qū)動后的虛擬模型進行動態(tài)顯示。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述從所述多個畫面中，提取得到人物面部特征，包括：

從每個所述畫面中獲取采集到的人物面部圖像；

對所述人物面部圖像進行特征提取，以獲得人物面部特征。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述從所述多個畫面中，提取得到人物面部特征，包括：

從每個所述畫面中獲取采集到的語音信號；

對所述語音信號中每個字的口型進行識別，以獲得人物面部特征。

8.根據(jù)權(quán)利要求5至7任一項所述的方法，其特征在于，驅(qū)動后的虛擬模型由公式

計算得到，其中，Base為虛擬模型，B_i為第i個表情目標體，W_i為第i個表情目標體的表情系數(shù)，B為驅(qū)動后的虛擬模型。

9.一種虛擬模型，其特征在于，所述虛擬模型由如權(quán)利要求1至4任一項所述的方法構(gòu)建得到，所述虛擬模型用于在電子設(shè)備中進行顯示。

10.一種電子設(shè)備，其特征在于，包括：

一個或多個處理器；存儲器；以及一個或多個計算機程序，其中所述一個或多個計算機程序被存儲在所述存儲器中，所述一個或多個計算機程序包括指令，當所述指令被所述設(shè)備執(zhí)行時，使得所述設(shè)備執(zhí)行如權(quán)利要求1至8任一項所述的方法。