[發明專利]用于生成視頻的方法、裝置、設備和介質

有效

• 申請號: 202010183109.9
• 申請日: 2020-03-16
• 公開（公告）號: CN111415677B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G10L21/10
• 分類號: G10L21/10
• 代理公司: 北京海智友知識產權代理事務所(普通合伙) 11455
• 代理人: 鞏靖

1.一種用于生成視頻的方法，包括：

獲取目標語音音頻；

針對所述目標語音音頻包括的音頻幀，確定與該音頻幀相對應的音頻表達信息，以及基于與該音頻幀相對應的音頻表達信息，生成與該音頻幀相匹配的目標人員圖像序列，其中，與該音頻幀相匹配的目標人員圖像序列表征目標人員執行與該音頻幀相對應的動作，所述目標人員為所述目標人員圖像序列中的目標人員圖像指示的人員；所述針對所述目標語音音頻包括的音頻幀，確定與該音頻幀相對應的音頻表達信息，包括：針對所述目標語音音頻包括的音頻幀，將該音頻幀輸入至針對目標人員預先訓練的圖像生成模型中的第一網絡模型，得到與該音頻幀相對應的音頻表達信息，其中，所述第一網絡模型用于表征音頻幀與音頻表達信息之間的對應關系；

基于所述目標語音音頻和所生成的各個目標人員圖像序列，生成表征所述目標人員執行與所述目標語音音頻相對應的動作的視頻。

2.根據權利要求1所述的方法，其中，所述確定與該音頻幀相對應的音頻表達信息，包括：

基于該音頻幀指示的音素，確定與該音頻幀相對應的音頻表達信息。

3.根據權利要求1所述的方法，其中，所述基于與該音頻幀相對應的音頻表達信息，生成與該音頻幀相匹配的目標人員圖像序列，包括：

基于與該音頻幀相對應的音頻表達信息，生成與該音頻幀相對應的融合變形信息；

基于與該音頻幀相對應的融合變形信息，生成與該音頻幀相匹配的目標人員圖像序列。

4.根據權利要求1所述的方法，其中，所述基于與該音頻幀相對應的音頻表達信息，生成與該音頻幀相匹配的目標人員圖像序列，包括：

將該音頻幀相對應的音頻表達信息輸入至所述圖像生成模型中的第二網絡模型，生成與該音頻幀相匹配的目標人員圖像序列，其中，所述圖像生成模型用于表征音頻幀與所述目標人員的目標人員圖像序列之間的對應關系；所述第二網絡模型用于表征音頻表達信息與所述目標人員的目標人員圖像序列之間的對應關系。

5.根據權利要求4所述的方法，其中，所述第一網絡模型包括音素確定子模型，所述音素確定子模型用于表征音頻幀與音素信息之間的對應關系；以及

所述音素確定子模型通過如下步驟訓練得到：

獲取訓練樣本集合，其中，所述訓練樣本集合中的訓練樣本包括音頻幀和音頻幀指示的音素信息；

采用機器學習算法，將所述訓練樣本集合中的音頻幀作為輸入數據，將輸入的音頻幀指示的音素信息作為期望輸出數據，訓練得到音素確定子模型。

6.根據權利要求5所述的方法，其中，所述第一網絡模型的實際輸出數據通過如下步驟得到：

將所述音素確定子模型輸出的音素信息輸入至預先訓練的全球風格遷移GST模型，得到音頻表達信息，以及將所得到的音頻表達信息作為第一網絡模型的實際輸出數據。

7.根據權利要求5所述的方法，其中，所述圖像生成模型通過如下步驟訓練得到：

獲取目標人員視頻，其中，所述目標人員視頻是對目標人員進行語音音頻和影像錄制而獲得的視頻；

從所述目標人員視頻中提取語音音頻和與所提取的語音音頻相匹配的圖像序列；

獲取用于訓練得到圖像生成模型的初始模型；

采用訓練得到的音素確定子模型的模型參數，初始化所述初始模型中，與所訓練得到的音素確定子模型的模型參數相應的模型參數，得到中間模型；

采用機器學習算法，將所提取的語音音頻中的音頻幀作為中間模型的輸入數據，將與輸入的音頻幀相匹配的圖像序列作為中間模型的期望輸出數據，訓練得到圖像生成模型。

8.根據權利要求1-7之一所述的方法，其中，目標人員圖像序列中兩相鄰目標人員圖像的相關度大于或等于預設相關度閾值，其中，所述相關度用于表征兩目標人員圖像在視頻中相鄰的概率。