[發明專利]一種肖像畫視頻生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110069361.1
• 申請日: 2021-01-19
• 公開（公告）號: CN112750185A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 劉永進;易冉
• 申請（專利權）人: 清華大學
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G06K9/00;G06N3/08;G06N3/04;H04N21/43
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 聶俊偉

1.一種肖像畫視頻生成方法，其特征在于，包括：

對預設目標音頻和目標人臉圖像進行特征提取，得到音頻特征信息和人臉特征點信息；

將所述音頻特征信息和所述人臉特征點信息輸入訓練好的深度神經網絡語音模型，得到音頻同步的人臉特征點序列；

將目標人臉圖像和所述音頻同步的人臉特征點序列輸入訓練好的肖像畫視頻生成模型，得到目標肖像畫圖片序列信息；

將所述目標肖像畫圖片序列信息和所述預設目標音頻進行合成，得到目標人臉的肖像畫視頻；

其中，所述訓練好的深度神經網絡語音模型是根據音頻同步的音頻特征樣本信息和人臉特征點樣本信息訓練得到的；

其中，所述訓練好的肖像畫視頻生成模型，是由真實人臉圖像樣本信息和攜帶真實標簽的肖像畫樣本圖像訓練得到的。

2.根據權利要求1所述肖像畫視頻生成方法，其特征在于，在將所述音頻特征信息和所述人臉特征點信息輸入訓練好的深度神經網絡語音模型的步驟之前，所述方法還包括：

從預設唇讀數據集中獲取說話視頻數據集的樣本視頻文件和樣本音頻文件；

按照預設采樣間隔，提取樣本視頻文件中的人臉特征點樣本信息，并同步采集樣本音頻文件中的音頻特征樣本信息，得到音頻同步的音頻特征樣本信息和人臉特征點樣本信息。

3.根據權利要求2所述肖像畫視頻生成方法，其特征在于，所述提取樣本視頻文件中的人臉特征點樣本信息，并同步采集樣本音頻文件中的音頻特征樣本信息，得到音頻同步的音頻特征樣本信息和人臉特征點樣本信息的步驟，具體包括：

對所述樣本音頻文件進行梅爾頻率倒譜系數特征提取，得到音頻特征樣本信息；

對所述樣本視頻文件進行人臉特征點檢測，得到人臉特征點樣本信息。

4.根據權利要求2所述肖像畫視頻生成方法，其特征在于，在將所述音頻特征信息和所述人臉特征點信息輸入訓練好的深度神經網絡語音模型的步驟之前，所述方法還包括：

將樣本視頻文件中第一幀圖像的人臉特征點樣本信息和任一預測時刻的音頻特征樣本信息，作為一組訓練樣本，獲取多組訓練樣本；

利用多組訓練樣本對預設深度神經網絡語音模型進行訓練。

5.根據權利要求4所述肖像畫視頻生成方法，其特征在于，利用多組訓練樣本對預設深度神經網絡語音模型進行訓練的步驟，具體包括：

對于任意一個訓練樣本，將所述訓練樣本輸入預設深度神經網絡語音模型，確認模型輸出與預測時刻音頻同步的人臉特征點；

根據模型輸出的人臉特征點和真實的與預測時刻音頻同步的人臉特征點，計算最小化損失函數值，當所述最小化損失函數值小于預設閾值時，完成訓練，得到訓練好的深度神經網絡語音模型。

6.根據權利要求1所述肖像畫視頻生成方法，其特征在于，在所述將目標人臉圖像和所述音頻同步的人臉特征點序列輸入訓練好的肖像畫視頻生成模型的步驟之前，所述方法還包括：

獲取真實人臉數據樣本集中的真實人臉圖像樣本信息，并獲取肖像畫圖像數據集的肖像畫樣本圖像；

對所述真實人臉圖像樣本信息進行特征點提取，得到真實人臉圖像特征點樣本信息；

對所述肖像畫樣本圖像進行特征點提取，得到肖像畫圖像特征點樣本信息；

根據所述肖像畫樣本圖像和肖像畫圖像特征點樣本信息、真實人臉圖像樣本信息和真實人臉圖像特征點樣本信息構建第一訓練樣本；

對肖像畫電影視頻樣本文件的圖像幀，進行特征點提取和線條提取，得到第二訓練樣本集；

根據所述第一訓練樣本和第二訓練樣本對預設對抗網絡模型進行訓練，當滿足預設訓練條件時，得到訓練好的肖像畫視頻生成模型；

其中，所述預設對抗網絡模型由生成子模型、單幀判別子模型和多幀判別子模型構成。