[發明專利]生成模型和生成3D動畫的方法、裝置、設備和存儲介質

在審

• 申請號: 202011485571.0
• 申請日: 2020-12-16
• 公開（公告）號: CN112562045A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 楊少雄
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G06T15/00;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了生成模型和生成3D動畫的方法、裝置、設備和存儲介質，涉及人工智能技術領域，具體為計算機視覺、增強現實和深度學習技術領域。具體實現方案為：獲取預置的樣本集；獲取預先建立的生成式對抗網絡，其中，生成式對抗網絡包括生成器和判別器；執行以下訓練步驟：從樣本集中選取樣本；從該樣本的樣本音頻中提取出樣本音頻特征；將樣本音頻特征輸入生成器，得到該樣本的偽3D網格頂點序列；將偽3D網格頂點序列和該樣本的真實3D網格頂點序列輸入判別器，判別3D網格頂點的真偽；若生成式對抗網絡滿足訓練完成條件，則得到訓練完成的生成器作為生成3D動畫的模型。該實施方式提供了可以提升人臉3D動畫的質量的模型。

技術領域

本申請涉及人工智能技術領域，具體為計算機視覺、增強現實和深度學習技術領域。

背景技術

經過近些年的探索和發展，計算機視覺已經在數字娛樂、醫療健康、安防監控等很多領域具有應用場景。合成逼真的視覺內容不僅具有很大的商業價值，而且也是業界一直所期望的。如果沒有計算機合成的綜合視覺效果，許多電影特效也是不可能實現的。目前，網絡上就已經存在著大量的人工合成視頻。此外，語音識別與文本合成語音技術也已廣泛應用于聊天機器人中。現有的基于深度學習的方法，通過單張圖像生成整個人臉說話的視頻，這種方式已經足以得到很好的與提供的語音匹配的唇形，但是生成的人臉表情幀間抖動比較明顯，生成的人臉表情比較虛假，音頻和表情不是很同步(顯得很違和)。

發明內容

本公開提供了一種生成模型和生成3D動畫的方法、裝置、設備以及存儲介質。

根據本公開的第一方面，提供了一種生成模型的方法，包括：獲取預置的樣本集，其中，樣本集至少包含一個樣本，樣本包括樣本音頻、真實3D網格頂點序列。獲取預先建立的生成式對抗網絡，其中，生成式對抗網絡包括生成器和判別器。執行以下訓練步驟：從樣本集中選取樣本。從該樣本的樣本音頻中提取出樣本音頻特征。將樣本音頻特征輸入生成器，得到該樣本的偽3D網格頂點序列。將偽3D網格頂點序列和該樣本的真實3D網格頂點序列輸入判別器，判別3D網格頂點的真偽。若生成式對抗網絡滿足訓練完成條件，則得到訓練完成的生成器作為生成3D動畫的模型。

根據本公開的第二方面，提供了一種生成3D動畫的方法，包括：從音頻中提取音頻特征。將音頻特征輸入根據第一方面中任一項的方法生成的生成式對抗網絡的生成器中，生成3D網格頂點序列。對3D網格頂點序列進行渲染，得到3D動畫。

根據本公開的第三方面，提供了一種生成模型的裝置，包括：樣本獲取單元，被配置成獲取預置的樣本集，其中，樣本集至少包含一個樣本，樣本包括樣本音頻、真實3D網格頂點序列。網絡獲取單元，被配置成獲取預先建立的生成式對抗網絡，其中，生成式對抗網絡包括生成器和判別器。選取單元，被配置成從樣本集中選取樣本。提取單元，被配置成從該樣本的樣本音頻中提取出樣本音頻特征。生成單元，被配置成將樣本音頻特征輸入生成器，得到該樣本的偽3D網格頂點序列。判別單元，被配置成將偽3D網格頂點序列和該樣本的真實3D網格頂點序列輸入判別器，判別3D網格頂點的真偽。輸出單元，被配置成若生成式對抗網絡滿足訓練完成條件，則得到訓練完成的生成器作為生成3D動畫的模型。

根據本公開的第四方面，提供了一種生成3D動畫的裝置，包括：特征提取單元，被配置成從音頻中提取音頻特征。序列生成單元，被配置成將音頻特征輸入根據第一方面中任一項的方法生成的生成式對抗網絡的生成器中，生成3D網格頂點序列。動畫生成單元，被配置成對3D網格頂點序列進行渲染，得到3D動畫。

根據本公開的第五方面，提供了一種電子設備，其特征在于，包括：至少一個處理器。以及與至少一個處理器通信連接的存儲器。其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行第一方面中任一項的方法。

根據本公開的第六方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其特征在于，計算機指令用于使計算機執行第一方面中任一項的方法。