[發明專利]視頻生成模型的構建和視頻生成方法、裝置、設備及介質

有效

• 申請號: 202110088850.1
• 申請日: 2021-01-22
• 公開（公告）號: CN112887789B
• 公開（公告）日: 2023-02-21
• 發明（設計）人: 胡天舒;洪智濱
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/472;G06N20/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種視頻生成模型的構建方法，包括：

將樣本人物圖像和樣本語音片段輸入初始模型的編碼器網絡，得到圖像特征和語音動作關聯特征，將所述圖像特征和所述語音動作關聯特征輸入所述初始模型的解碼器網絡，預測所述樣本語音片段驅動所述樣本人物圖像的人物圖像序列，并將所述語音動作關聯特征輸入所述初始模型的音素預測網絡，預測所述樣本語音片段的音素信息；

根據所述樣本語音片段的音素標簽、所述樣本語音片段關聯的樣本視頻幀序列、所述音素信息和所述人物圖像序列，對所述初始模型進行訓練，得到視頻生成模型；音素標簽包括：樣本語音片段中包含的所有音素，以及各音素在樣本語音片段中對應的開始時間和結束時間；

其中，所述根據所述樣本語音片段的音素標簽、所述樣本語音片段關聯的樣本視頻幀序列、所述音素信息和所述人物圖像序列，對所述初始模型進行訓練，包括：

將所述樣本語音片段的音素標簽作為所述音素信息的監督數據，對所述初始模型的編碼器網絡和音素預測網絡進行訓練；

將所述樣本語音片段關聯的樣本視頻幀序列作為所述人物圖像序列的監督數據，對所述初始模型的編碼器網絡和解碼器網絡進行訓練。

2.根據權利要求1所述的方法，還包括：

將樣本語音數據的頻率轉換為預設頻率；

根據所述樣本語音數據關聯的樣本視頻的視頻幀數，將轉換后的樣本語音數據劃分為至少一個樣本語音片段；

對所述至少一個樣本語音片段進行音素標注，得到所述至少一個樣本語音片段的音素標簽。

3.根據權利要求1所述的方法，還包括：

對樣本語音片段關聯的樣本視頻幀序列進行人物區域定位，截取所述樣本視頻幀序列中視頻幀的人物定位區域；

相應的，根據所述樣本語音片段的音素標簽、所述樣本語音片段關聯的樣本視頻幀序列、所述音素信息和所述人物圖像序列，對所述初始模型進行訓練，包括：

根據所述樣本語音片段的音素標簽、所述樣本視頻幀序列中視頻幀的人物定位區域、所述音素信息和所述人物圖像序列，對所述初始模型進行訓練。

4.根據權利要求1所述的方法，其中，所述初始模型還包括：判別器網絡，所述方法還包括:

將所述人物圖像序列和所述樣本視頻幀序列輸入所述判別器網絡，得到判別結果；

根據實際判別標簽和所述判別結果，對所述初始模型進行訓練。

5.根據權利要求1所述的方法，其中，所述將樣本人物圖像和樣本語音片段輸入初始模型的編碼器網絡，得到圖像特征和語音動作關聯特征，包括：

將樣本人物圖像輸入初始模型的圖像編碼器網絡，得到所述樣本人物圖像的圖像特征；

將樣本語音片段輸入初始模型的語音編碼器網絡，得到所述樣本語音片段的語音動作關聯特征。

6.一種視頻生成方法，使用權利要求1-5中任一項所述的方法構建的視頻生成模型實現，所述方法包括：

將目標人物圖像和目標語音片段輸入所述視頻生成模型中，得到所述目標語音片段驅動所述目標人物圖像的人物圖像序列；

根據所述人物圖像序列，生成目標人物視頻。