[發明專利]一種3D人臉動畫合成方法及系統

在審

• 申請號: 202110302138.7
• 申請日: 2021-03-22
• 公開（公告）號: CN113160366A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 于靈云
• 申請（專利權）人: 合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T13/20;G06F3/01;G10L15/16;G10L15/26;G06N3/04;G06N3/08
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

本發明公開了一種3D人臉動畫合成方法及系統，屬于人工智能技術領域，包括：采集用戶語音的音頻特征和文本的韻律特征；將音頻特征和韻律特征作為預先訓練好的軌跡預測網絡的輸入，得到該用戶對應的發音器官運動軌跡；利用用戶的發音器官運動軌跡驅動3D頭部網絡模型實現唇音同步的3D人臉動畫合成。本發明采用發音器官的運動軌跡作為3D人臉模型動畫參數，通過運動軌跡驅動3D人臉模型實現唇音同步的人臉動畫，大大減少了計算量。

技術領域

本發明涉及人工智能技術領域，特別涉及一種3D人臉動畫合成方法及系統。

背景技術

與單獨的語音相比，唇音同步的語音動畫能夠增強在噪音情況下語音的理解性，更好地吸引用戶的注意力，從而更好地實現人機交互。然而，合成唇音同步的語音動畫，關鍵的問題是實現語音特征到視覺特征的轉換(audio-to-visual conversion)。對于傳統視素的方法，需要為每一個音素建立相應的視素。合成動畫時，直接將音素映射到視素，然后通過主觀定義的平滑函數或是協同發音模型實現連續的動畫合成。然而此方法需要對每個音素建立相應的視素，導致大量計算的耗費，同時對動畫制作者的專業水平要求較高，影響其廣泛應用。

為了減少模型的計算量，研究者探索基于數據驅動的人臉動畫合成方法，即利用語音信息實現3D人臉模型人臉動畫參數的映射，再由人臉動畫參數控制人臉面部運動，從而實現動畫的合成。然而人們對聲音與唇部動作是否一致十分敏感，采用單模態信息并不能實現高精度的人臉動畫參數的映射，影響動畫的真實感。

發明內容

本發明的目的在于克服上述背景技術中的不足，以減少計算量并提高合成動畫的真實感。

為實現以上目的，一方面，采用一種3D人臉動畫合成方法，包括如下步驟：

采集用戶語音的音頻特征和文本的韻律特征；

將音頻特征和韻律特征作為預先訓練好的軌跡預測網絡的輸入，得到該用戶對應的發音器官運動軌跡；

利用用戶的發音器官運動軌跡驅動3D頭部網絡模型實現唇音同步的3D人臉動畫合成。

進一步地，所述軌跡預測網絡包括瓶頸網絡和LTRCNN網絡，所述瓶頸網絡的輸入數據為所述韻律特征、輸出為用戶的發音器官運動軌跡，所述LTRCNN網絡的輸入為所述音頻特征、所述韻律特征以及從瓶頸網絡的瓶頸層提取得到的瓶頸特征、輸出為所述發音器官運動軌跡。

進一步地，所述LTRCNN網絡包括跨模態編碼器和軌跡預測解碼器，跨模態編碼器的輸入為所述音頻特征、所述韻律特征以及從瓶頸網絡的瓶頸層提取得到的瓶頸特征、輸出與軌跡預測解碼器的輸入連接，軌跡預測解碼器的輸出為所述發音器官運動軌跡。

進一步地，在所述采集用戶語音的音頻特征和文本的韻律特征之前，還包括：

采集被試用戶的發音器官運動軌跡數據、與發音器官運動軌跡同步的語音信號以及語音信號對應的文本數據；

對語音信號和文本數據分別進行特征提取，得到語音信號的音頻特征和文本數據對應的韻律特征，并將音頻特征、韻律特征和發音器官運動軌跡數據構建成樣本集合；

利用樣本集合中的樣本數據對所述軌跡預測網絡進行訓練，得到所述訓練好的軌跡預測網絡。

進一步地，所述采集被試用戶的發音器官運動軌跡數據、與發音器官運動軌跡同步的語音信號以及語音信號對應的文本數據，包括：

利用電磁發音動作描跡儀(Electro-Magnetic Articulatory，EMA)設備采集所述被試用戶的發音器官運動軌跡數據；

利用語音采集設備采集與所述被試用戶的發音器官運動軌跡同步的語音信號；

利用語音識別技術對所述被試用戶的語音信號進行文本合成，得到所述語音信號對應的文本數據。