[發明專利]一種肖像畫視頻生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110069361.1
• 申請日: 2021-01-19
• 公開（公告）號: CN112750185A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 劉永進;易冉
• 申請（專利權）人: 清華大學
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G06K9/00;G06N3/08;G06N3/04;H04N21/43
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 聶俊偉

本發明提供一種肖像畫視頻生成方法、裝置、電子設備及存儲介質，包括：對預設目標音頻和目標人臉圖像進行特征提取，得到音頻特征信息和人臉特征點信息；將音頻特征信息和人臉特征點信息輸入訓練好的深度神經網絡語音模型，得到音頻同步的人臉特征點序列；將目標人臉圖像和音頻同步的人臉特征點序列輸入訓練好的肖像畫視頻生成模型，得到目標肖像畫圖片序列信息；將目標肖像畫圖片序列信息和預設目標音頻進行合成，得到目標人臉的肖像畫視頻。最終實現根據目標人臉照片和預設目標音頻，生成一個音頻同步的說話肖像畫視頻。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種肖像畫視頻生成方法、裝置、電子設備及存儲介質。

背景技術

說話肖像畫視頻的生成，是指根據目標人物的一張人臉圖像和一段音頻，生成與該音頻同步的、藝術風格化后的目標人物說話的肖像畫視頻。生成的視頻中每一幀都是一個目標人物的藝術肖像畫，且肖像畫中的人物嘴型與該時刻的音頻同步。

而如何根據一張人臉圖像生成動畫，是計算機視覺中的一個重要問題，在電影制作、虛擬主播、視頻流、新媒體等領域有著廣泛的應用。相較于真實人臉，藝術肖像畫能激發起人類不同的情感體驗，甚至喚起不同的人腦功能。因此，藝術風格化后的說話人視頻，即說話肖像畫視頻，能實現新的交互和娛樂應用，從而獲得更強的視覺效果。

然而，目前還沒有方法解決從人臉照片生成一個說話肖像畫視頻的問題。

因此，如何根據人臉照片生成一個說話的肖像畫視頻，已經成為業界亟待解決的問題。

發明內容

本發明提供一種肖像畫視頻生成方法、裝置、電子設備及存儲介質，用以解決現有技術中無法根據人臉照片生成一個說話的肖像畫視頻的問題。

本發明提供一種肖像畫視頻生成方法，包括：

對預設目標音頻和人臉圖像進行特征提取，得到音頻特征信息和人臉特征點信息；

將所述音頻特征信息和所述人臉特征點信息輸入訓練好的深度神經網絡語音模型，得到音頻同步的人臉特征點序列；

將目標人臉圖像和所述音頻同步的人臉特征點序列輸入訓練好的肖像畫視頻生成模型，得到目標肖像畫圖片序列信息；

將所述目標肖像畫圖片序列信息和所述預設目標音頻進行合成，得到目標人臉的肖像畫視頻；

其中，所述訓練好的深度神經網絡語音模型是根據音頻同步的音頻特征樣本信息和人臉特征點樣本信息訓練得到的；

其中，所述訓練好的肖像畫視頻生成模型，是由真實人臉圖像樣本信息和攜帶真實標簽的肖像畫樣本圖像訓練得到的。

根據本發明提供的一種肖像畫視頻生成方法，在將所述音頻特征信息和所述人臉特征點信息輸入訓練好的深度神經網絡語音模型的步驟之前，所述方法還包括：

從預設唇讀數據集中獲取說話視頻數據集的樣本視頻文件和樣本音頻文件；

按照預設采樣間隔，提取樣本視頻文件中的人臉特征點樣本信息，并同步采集樣本音頻文件中的音頻特征樣本信息，得到音頻同步的音頻特征樣本信息和人臉特征點樣本信息。

根據本發明提供的一種肖像畫視頻生成方法，所述提取樣本視頻文件中的人臉特征點樣本信息，并同步采集樣本音頻文件中的音頻特征樣本信息，得到音頻同步的音頻特征樣本信息和人臉特征點樣本信息的步驟，具體包括：

對所述樣本音頻文件進行梅爾頻率倒譜系數特征提取，得到音頻特征樣本信息；

對所述樣本視頻文件進行人臉特征點檢測，得到人臉特征點樣本信息。

根據本發明提供的一種肖像畫視頻生成方法，在將所述音頻特征信息和所述人臉特征點信息輸入訓練好的深度神經網絡語音模型的步驟之前，所述方法還包括：