[發明專利]虛擬模型及其構建方法、交互方法以及電子設備在審
| 申請號: | 202110481008.4 | 申請日: | 2021-04-30 |
| 公開(公告)號: | CN113344770A | 公開(公告)日: | 2021-09-03 |
| 發明(設計)人: | 王晨;劉藝歡 | 申請(專利權)人: | 螳螂慧視科技有限公司 |
| 主分類號: | G06T3/00 | 分類號: | G06T3/00;G06T17/00;G06K9/00;G10L15/08 |
| 代理公司: | 上海得民頌知識產權代理有限公司 31379 | 代理人: | 傅云 |
| 地址: | 201107 上海市青*** | 國省代碼: | 上海;31 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 虛擬 模型 及其 構建 方法 交互 以及 電子設備 | ||
1.一種虛擬模型的構建方法,其特征在于,包括:
獲取目標人物的三維模型;
利用標準模型對所述三維模型進行參數化處理,以得到所述標準模型中每個點的目標變換矩陣;
基于所述目標變換矩陣對所述標準模型中的每個點進行變換處理,以得到變換后的標準模型;
對所述變換后的標準模型進行編輯,以得到虛擬模型,其中,所述虛擬模型中包含多個表情目標體。
2.根據權利要求1所述的方法,其特征在于,所述利用標準模型對所述三維模型進行參數化處理,以得到所述標準模型中每個點的目標變換矩陣,包括:
根據所述三維模型中的每個鄰接點的約束,獲得第一誤差項;
根據所述標準模型中每個點的變換矩陣的約束,獲得第二誤差項;
根據所述標準模型與所述三維模型中對應點的約束,獲得第三誤差項;
根據所述第一誤差項、所述第二誤差項以及所述第三誤差項的加權和最小值,確定目標變換矩陣。
3.根據權利要求2所述的方法,其特征在于,所述第一誤差項由公式
計算得到,其中,ES為第一誤差項,Ti與Tj為變換矩陣,
所述第二誤差項由公式
計算得到,其中,EI為第二誤差項,
所述第三誤差項由公式
計算得到,其中,EC為第三誤差項,,Vi為所述標準模型中經變換矩陣變換后的第i個點的坐標,Ci為所述三維模型中與所述標準模型中的Vi點相對應的第i個點的坐標,
所述權重和最小值由公式
計算得到,其中,WS、WI、WC為權重值。
4.根據權利要求1至3任一項所述的方法,其特征在于,所述對所述變換后的標準模型進行編輯,以得到虛擬模型,包括:
響應用戶編輯表情目標體的操作,在所述變換后的標準模型中構建多個所述表情目標體,以得到虛擬模型。
5.一種虛擬模型的交互方法,其特征在于,包括:
獲取用戶輸入的交互信息;
基于所述交互信息,獲取視頻流,其中,所述視頻流中包含多個畫面;
從每個所述畫面中,提取得到人物面部特征;
基于所述人物面部特征以及虛擬模型,獲取所述虛擬模型中多個表情目標體的表情系數,所述虛擬模型由如權利要求1至4任一項所述的方法獲得;
基于每個所述表情目標體的表情系數,對所述虛擬模型進行驅動,其中,驅動后的虛擬模型進行動態顯示。
6.根據權利要求5所述的方法,其特征在于,所述從所述多個畫面中,提取得到人物面部特征,包括:
從每個所述畫面中獲取采集到的人物面部圖像;
對所述人物面部圖像進行特征提取,以獲得人物面部特征。
7.根據權利要求5所述的方法,其特征在于,所述從所述多個畫面中,提取得到人物面部特征,包括:
從每個所述畫面中獲取采集到的語音信號;
對所述語音信號中每個字的口型進行識別,以獲得人物面部特征。
8.根據權利要求5至7任一項所述的方法,其特征在于,驅動后的虛擬模型由公式
計算得到,其中,Base為虛擬模型,Bi為第i個表情目標體,Wi為第i個表情目標體的表情系數,B為驅動后的虛擬模型。
9.一種虛擬模型,其特征在于,所述虛擬模型由如權利要求1至4任一項所述的方法構建得到,所述虛擬模型用于在電子設備中進行顯示。
10.一種電子設備,其特征在于,包括:
一個或多個處理器;存儲器;以及一個或多個計算機程序,其中所述一個或多個計算機程序被存儲在所述存儲器中,所述一個或多個計算機程序包括指令,當所述指令被所述設備執行時,使得所述設備執行如權利要求1至8任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于螳螂慧視科技有限公司,未經螳螂慧視科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202110481008.4/1.html,轉載請聲明來源鉆瓜專利網。





