[發明專利]視頻生成模型的構建和視頻生成方法、裝置、設備及介質

有效

• 申請號: 202110088850.1
• 申請日: 2021-01-22
• 公開（公告）號: CN112887789B
• 公開（公告）日: 2023-02-21
• 發明（設計）人: 胡天舒;洪智濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/472;G06N20/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請公開了一種視頻生成模型的構建和視頻生成方法、裝置、設備及介質，涉及計算機技術領域，尤其涉及深度學習、計算機視覺和語音技術等人工智能技術領域。具體實現方案為：將樣本人物圖像和樣本語音片段輸入初始模型的編碼器網絡，得到圖像特征和語音動作關聯特征，將圖像特征和語音動作關聯特征輸入初始模型的解碼器網絡，預測樣本語音片段驅動樣本人物圖像的人物圖像序列，并將語音動作關聯特征輸入初始模型的音素預測網絡，預測樣本語音片段的音素信息；根據樣本語音片段的音素標簽、樣本語音片段關聯的樣本視頻幀序列、音素信息和人物圖像序列，對初始模型進行訓練，得到視頻生成模型。為圖像驅動技術的發展提供了一種新思路。

技術領域

本申請涉及計算機技術領域，尤其涉及深度學習、計算機視覺和語音技術等人工智能技術領域。

背景技術

隨著人工智能技術和視頻技術的發展，將靜態圖像驅動成動態視頻的圖像驅動技術逐漸興起，具體過程為通過一段人物視頻，去驅動一張靜態的目標人物圖像，從而得到該目標人物圖像關聯的人物視頻，但是，現有的圖像驅動技術無法滿足跨模態驅動圖像的需求，例如，通過一段語音將一張靜態的人物圖像驅動成一段表達該段語音的動態人物視頻，亟需改進。

發明內容

本申請提供了一種視頻生成模型的構建和視頻生成方法、裝置、設備及介質。

根據本申請的第一方面，提供了一種視頻生成模型的構建方法，包括：

將樣本人物圖像和樣本語音片段輸入初始模型的編碼器網絡，得到圖像特征和語音動作關聯特征，將所述圖像特征和所述語音動作關聯特征輸入所述初始模型的解碼器網絡，預測所述樣本語音片段驅動所述樣本人物圖像的人物圖像序列，并將所述語音動作關聯特征輸入所述初始模型的音素預測網絡，預測所述樣本語音片段的音素信息；

根據所述樣本語音片段的音素標簽、所述樣本語音片段關聯的樣本視頻幀序列、所述音素信息和所述人物圖像序列，對所述初始模型進行訓練，得到視頻生成模型。

根據本申請的第二方面，提供了一種視頻生成方法，該方法使用本申請任一實施例所述的方法構建的視頻生成模型實現，該方法包括：

將目標人物圖像和目標語音片段輸入所述視頻生成模型中，得到所述目標語音片段驅動所述目標人物圖像的人物圖像序列；

根據所述人物圖像序列，生成目標人物視頻。

根據本申請的第三方面，提供了一種視頻生成模型的構建裝置，包括：

數據輸入模塊，用于將樣本人物圖像和樣本語音片段輸入初始模型的編碼器網絡，得到圖像特征和語音動作關聯特征，將所述圖像特征和所述語音動作關聯特征輸入所述初始模型的解碼器網絡，預測所述樣本語音片段驅動所述樣本人物圖像的人物圖像序列，并將所述語音動作關聯特征輸入所述初始模型的音素預測網絡，預測所述樣本語音片段的音素信息；

模型訓練模塊，用于根據所述樣本語音片段的音素標簽、所述樣本語音片段關聯的樣本視頻幀序列、所述音素信息和所述人物圖像序列，對所述初始模型進行訓練，得到視頻生成模型。

根據本申請的第四方面，提供了一種視頻生成裝置，該裝置使用本申請任一實施例所述的方法構建的視頻生成模型實現，該裝置包括：

圖像序列生成模塊，用于將目標人物圖像和目標語音片段輸入所述視頻生成模型中，得到所述目標語音片段驅動所述目標人物圖像的人物圖像序列；

視頻生成模塊，用于根據所述人物圖像序列，生成目標人物視頻。

根據本申請的第五方面，提供了一種電子設備，該電子設備包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，