[發明專利]一種基于VOCA的完整口型動畫生成方法

有效

• 申請號: 202010012004.7
• 申請日: 2020-01-07
• 公開（公告）號: CN110807825B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 司馬華鵬;唐翠翠
• 申請（專利權）人: 南京硅基智能科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T17/20
• 代理公司: 江蘇舜點律師事務所 32319
• 代理人: 孫丹

1.一種基于VOCA的完整口型動畫生成方法，其特征是：包括以下步驟：

步驟一、建立與VOCA頭部3D模型對應的靜態口腔模型，所述靜態口腔模型至少包括上排牙齒、下排牙齒以及舌頭；

步驟二、通過3D建模軟件打開靜態口腔模型和VOCA頭部3D模型，并將靜態口腔模型嵌入在靜態VOCA頭部3D模型的對應位置；

步驟三、在利用VOCA頭部3D模型生成動畫時，實時計算口部關鍵點的運動軌跡，并且通過該運動軌跡計算與靜態口腔模型之間的線性映射關系，形成完整口腔模型的動畫；

口部關鍵點的選取方法為：讀取VOCA頭部3D模型底層的flame靜態模型，根據其中提供的V、F以及權重計算重心坐標，V是頂點集合，F是由V的索引構成的面集合，取每個三角面的重心作為關鍵點l＝∑v_iw_i，其中w_i為flame給定的權重參數，∑w_i＝1，i＝1，2，3為三角面的三個頂點，在此基礎上在VOCA頭部3D模型上指定關鍵點，并通過輔助工具，手動在VOCA頭部3D模型的口部選取關鍵點，記錄下關鍵點在3D模型中的index，通過index在3D模型的頂點中進行索引，找到對應頂點的坐標進行使用，需要記錄3D模型中左嘴角，上嘴唇底部，右嘴角，下嘴角頂部，共四個頂點的index，分別通過下標left、up、right、down進行表示；

形成口腔模型的動畫的方法為：通過對VOCA頭部3D模型的關鍵點計算距離，通過張嘴口腔模型和閉嘴口腔模型生成對應的中間狀態，其中映射關系是：通過計算t時刻VOCA頭部3D模型的關鍵點之間的距離，得到t時刻的張嘴系數，映射得到t時刻的口腔狀態；

計算過程為：根據實際測量獲得嘴部最大垂直距離最大水平距離3D模型文件使用O＝{V，F}表示，VOCA的靜態3D模型使用O_O＝{V_O，F_O}表示，上口腔3D模型使用O_p＝{V_p，F_p}表示，下口腔3D模型使用O_q＝{V_q，F_q}表示，舌頭3D模型使用O_g＝{V_g，F_g}表示，VOCA靜態頂點集合為V_O＝{o₁，o₂，...，o_n}，上口腔頂點集合為V_p＝{p₁，p₂，...，p_n}，下口腔頂點集合為V_q＝{q₁，q₂，...，q_n}，舌頭頂點集合為V_g＝{g₁，g₂，...，g_n}，VOCA生成的語音驅動的動態3D為：計算t時嘴部的垂直距離水平距離euc()表示計算歐式距離，則t時刻的垂直張嘴系數水平張嘴系數根據張嘴系數可以得到t時刻口腔3D模型，對應的F面集合不變，頂點集合V變化如下：上口腔其中下口腔其中舌頭其中0＜α，β＜1為人工調整的對應系數。

2.根據權利要求1所述的一種基于VOCA的完整口型動畫生成方法，其特征是：靜態口腔模型的建立方法包括直接從3D建模軟件中導出現有的口腔模型或者手動創建節點和面構造口腔模型。

3.根據權利要求1所述的一種基于VOCA的完整口型動畫生成方法，其特征是：將靜態口腔模型嵌入在靜態VOCA頭部3D模型的方法包括手動拖拽以實現對應嵌入。

4.根據權利要求1所述的一種基于VOCA的完整口型動畫生成方法，其特征是：通過旋轉上排牙齒、下排牙齒以及舌頭控制口腔為閉合狀態，導出閉嘴口腔模型；通過旋轉上排牙齒、下排牙齒以及舌頭控制口腔為張嘴最大狀態，導出張嘴口腔模型。

5.根據權利要求1所述的一種基于VOCA的完整口型動畫生成方法，其特征是：靜態口腔模型創建好后為VOCA頭部3D模型文件格式。