[發明專利]用于生成視頻的方法、裝置、設備和介質

有效

• 申請號: 202010199332.2
• 申請日: 2020-03-20
• 公開（公告）號: CN111432233B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/234;H04N21/2343;H04N21/439;H04N21/44;H04N21/4402;H04N21/472;G06N20/00
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曹寒梅

1.一種用于生成視頻的方法，包括：

獲取目標語音音頻和目標人員圖像；

針對所述目標語音音頻包括的音頻幀，基于該音頻幀和所述目標人員圖像，生成表征所述目標人員圖像指示的目標人員執行與該音頻幀相對應的動作的圖像序列；

基于所述目標語音音頻和所生成的各個圖像序列，生成表征所述目標人員執行與所述目標語音音頻相對應的動作的視頻；

其中，所述基于該音頻幀和所述目標人員圖像，生成表征所述目標人員圖像指示的目標人員執行與該音頻幀相對應的動作的圖像序列，包括：

將該音頻幀和所述目標人員圖像輸入至預先訓練的圖像生成模型，生成表征所述目標人員圖像指示的目標人員執行與該音頻幀相對應的動作的圖像序列，其中，所述圖像生成模型用于生成表征所輸入的人員圖像指示的人員執行與所輸入的音頻幀相對應的動作的圖像序列，其中，與該音頻幀相對應的動作包括：表征所述目標人員執行與該音頻幀相對應的肢體動作；

其中，所述將該音頻幀和所述目標人員圖像輸入至預先訓練的圖像生成模型，生成表征所述目標人員圖像指示的目標人員執行與該音頻幀相對應的動作的圖像序列，包括：

將該音頻幀輸入至預先訓練的圖像生成模型中的第一網絡模型，得到該音頻幀指示的音素信息，其中，所述第一網絡模型用于確定所輸入的音頻幀指示的音素信息；

將該音頻幀指示的音素信息和所述目標人員圖像輸入至所述圖像生成模型中的第二網絡模型，生成表征所述目標人員圖像指示的目標人員執行與該音頻幀相對應的動作的圖像序列，其中，所述第二網絡模型用于表征音素信息、人員圖像與圖像序列之間的對應關系；

其中，訓練所述圖像生成模型的訓練結束條件包括以下兩項：

實際輸出數據表征的圖像序列與該音頻幀相匹配；以及實際輸出數據表征的圖像序列中的兩相鄰的圖像的相關度大于或等于預設相關度閾值，其中，所述相關度用于表征兩圖像在視頻中相鄰的概率。

2.根據權利要求1所述的方法，其中，所述第一網絡模型通過如下步驟訓練得到：

獲取訓練樣本集合，其中，所述訓練樣本集合中的訓練樣本包括音頻幀和音頻幀指示的音素信息；

采用機器學習算法，將所述訓練樣本集合中的音頻幀作為輸入數據，將音頻幀指示的音素信息作為期望輸出數據，訓練得到第一網絡模型。

3.根據權利要求2所述的方法，其中，所述圖像生成模型通過如下步驟訓練得到：

獲取預設數量個目標視頻，其中，目標視頻是對人員進行語音音頻和影像錄制而獲得的視頻；

從所述預設數量個目標視頻中提取語音音頻和與所提取的語音音頻相匹配的圖像序列；

獲取用于訓練得到圖像生成模型的初始模型；

采用訓練得到的第一網絡模型的模型參數，初始化所述初始模型中，與所訓練得到的第一網絡模型的模型參數相對應的模型參數，得到中間模型；

采用機器學習算法，將所提取的語音音頻中的音頻幀作為中間模型的輸入數據，將與該音頻幀相匹配的圖像序列作為中間模型的期望輸出數據，訓練得到圖像生成模型。

4.根據權利要求3所述的方法，其中，所述將所提取的語音音頻中的音頻幀作為中間模型的輸入數據，將與該音頻幀相匹配的圖像序列作為中間模型的期望輸出數據，訓練得到圖像生成模型，包括：

響應于不滿足預設訓練結束條件，將所提取的語音音頻中的音頻幀輸入至中間模型，得到中間模型的實際輸出數據，以及基于實際輸出數據和期望輸出數據，調整中間模型的模型參數，其中，實際輸出數據表征中間模型實際得到的圖像序列，期望輸出數據表征所提取的、與該音頻幀相匹配的圖像序列；

響應于滿足所述預設訓練結束條件，將滿足所述預設訓練結束條件的中間模型作為圖像生成模型。