[發明專利]虛假人臉動畫合成方法

在審

• 申請號: 202110021844.4
• 申請日: 2021-01-07
• 公開（公告）號: CN112785671A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 張勇東;于靈云;謝洪濤
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T13/80
• 分類號: G06T13/80;G06T9/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 鄢功軍

本公開提供了一種虛假人臉動畫合成方法，包括：從第一目標視頻中提取語音信息和文本信息，并分別提取語音信息中的多幀音頻特征和文本信息中的多幀韻律特征；將多幀音頻特征和多幀韻律特征輸入訓練完成的編碼器?解碼器網絡，輸出每一幀音頻特征和韻律特征對應的多個關鍵點所組成的多組關鍵點序列；根據第二目標視頻和多組關鍵點序列，生成多幀合成人臉草圖；以及使用視頻生成網絡基于多幀合成人臉草圖合成虛假人臉動畫。

技術領域

本公開涉及人工智能領域/多模態領域，更具體地，涉及一種虛假 人臉動畫合成方法。

背景技術

虛假人臉動畫生成，旨在給定任意一段語音或文本，生成高自然 度的、唇音同步的人臉動畫。唇音同步的虛假人臉動畫在電影制作和 數字電腦游戲等行業具有廣泛的應用前景。此外，人臉動畫也可以提 供有關發音器官運動位置的視覺信息，從而可以應用于語言教學或是 針對聽覺障礙的患者進行輔助治療。

現有技術中，大部分虛假人臉動畫生成的研究基于單模態輸入， 即將音頻信號映射到逼真的面部運動。然而，現有的方法只考慮了唇 部運動而忽略了下巴的運動，導致面部運動的變形。此外，現有的方 法通常使用單張圖像生成方法來解決虛假人臉的動畫生成，忽略了幀 間的相關性。

在實現本公開的過程中發現，現有技術忽略了發音器官的協同運 動和視頻幀間的時間相關性，合成得到的虛假人臉動畫唇音不同步、 真實感不足。

發明內容

有鑒于此，本公開提出了一種虛假人臉動畫合成方法。

本公開的實施例的虛假人臉動畫合成方法包括：從第一目標視頻 中提取語音信息和文本信息，并分別提取上述語音信息中的多幀音頻 特征和上述文本信息中的多幀韻律特征；將上述多幀音頻特征和上述 多幀韻律特征輸入訓練完成的編碼器-解碼器網絡，輸出每一幀上述音 頻特征和上述韻律特征對應的多個關鍵點所組成的多組關鍵點序列；根據第二目標視頻和上述多組關鍵點序列生成多幀合成人臉草圖；以 及使用視頻生成網絡基于上述多幀合成人臉草圖合成虛假人臉動畫。

根據本公開的實施例，上述訓練完成的編碼器-解碼器網絡通過如 下訓練方法得到，訓練方法包括：從樣本視頻中提取樣本語音信息和 樣本文本信息，并分別提取上述樣本語音信息中的多幀樣本音頻特征 和上述樣本文本信息中的多幀樣本韻律特征；將上述樣本視頻按幀解 碼成多幀樣本圖像，提取經過歸一化處理后的上述多幀樣本圖像中的 唇部區域及下巴區域的關鍵點，得到多組關鍵點序列；以及以上述多 幀樣本音頻特征和上述多幀樣本韻律特征作為輸入，以上述多組關鍵 點序列作為標簽，訓練初始編碼器-解碼器網絡結構，得到上述訓練完 成的編碼器-解碼器網絡。

根據本公開的實施例，上述初始編碼器-解碼器網絡結構包括：語 音編碼器，用于獲取并編碼上述多幀音頻特征或上述多幀樣本音頻特 征；文本編碼器，用于獲取并編碼上述多幀韻律特征或上述多幀樣本 韻律特征；以及解碼器，用于解碼上述語音編碼器和上述文本編碼器 獲取的特征，輸出上述多組關鍵點序列或上述多組樣本關鍵點序列。

根據本公開的實施例，上述根據第二目標視頻和上述多組關鍵點 序列，生成多幀合成人臉草圖包括：將上述第二目標視頻按幀解碼并 提取得到多幀人臉草圖；基于上述多幀人臉草圖中的人臉角度和形狀 信息，使用嘴部反歸一化方法逐個更新上述多組關鍵點序列中各個關 鍵點的位置，得到多組與上述多幀人臉草圖中的人臉角度和形狀信息 一致的預測關鍵點序列；以及依次將上述多組預測關鍵點序列和上述 多幀人臉草圖進行合成，得到上述多幀合成人臉草圖。

根據本公開的實施例，上述使用嘴部反歸一化方法逐個更新上述 多組關鍵點序列中各個關鍵點的位置使用下式實現：