[發明專利]用于生成視頻的方法、裝置、設備和介質

在審

• 申請號: 202010182273.8
• 申請日: 2020-03-16
• 公開（公告）號: CN111415662A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 殷翔
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/26;G10L21/10;G10L13/04;G10L13/047;G10L13/08;G10L13/033;G10L25/63
• 代理公司: 北京海智友知識產權代理事務所(普通合伙) 11455
• 代理人: 鞏靖

1.一種用于生成視頻的方法，包括：

獲取目標用戶的用戶交互信息；

基于所述用戶交互信息，生成針對所述用戶交互信息的反饋信息；

基于所述反饋信息，生成用于指示預設人員執行與所述反饋信息相對應的動作的視頻。

2.根據權利要求1所述的方法，其中，所述反饋信息為文本信息；以及

所述基于所述反饋信息，生成用于指示預設人員執行與所述反饋信息相對應的動作的視頻，包括：

確定與所述文本信息相對應的音素信息和語調信息；

基于所述音素信息和所述語調信息，生成用于指示預設人員執行與所述反饋信息相對應的動作的視頻。

3.根據權利要求2所述的方法，其中，所述基于所述音素信息和所述語調信息，生成用于指示預設人員執行與所述反饋信息相對應的動作的視頻，包括：

基于所述音素信息，確定待生成的語音音頻的音頻幀數量，以及待生成的圖像序列的圖像數量，其中，所述音頻幀數量與所述圖像數量相等；

基于所述音素信息和所述語調信息，生成語音音頻和圖像序列，其中，所述語音音頻包括的音頻幀的數量為所述音頻幀數量，所述圖像序列中的圖像的數量為所述圖像數量，所述圖像序列指示預設人員執行與所述語音音頻相對應的動作；

將所述語音音頻和所述圖像序列進行合成，得到用于指示所述預設人員執行與所述語音音頻相對應的動作的視頻。

4.根據權利要求3所述的方法，其中，所述語音音頻中的音頻幀與所述圖像序列中的圖像一一對應，所述圖像序列中的圖像的口型表征：所述預設人員發出與該圖像相對應的音頻幀指示的語音。

5.根據權利要求1-4之一所述的方法，其中，所述用戶交互信息包括用戶視頻；以及

所述基于所述用戶交互信息，生成針對所述用戶交互信息的反饋信息，包括：

響應于所述用戶視頻中的語音音頻滿足預設語調調整條件，生成用于指示用戶調整音頻的語調的反饋信息；

響應于所述用戶視頻中的圖像中的口型符合預設口型調整條件，生成用于指示用戶調整口型的反饋信息。

6.根據權利要求1-4之一所述的方法，其中，所述基于所述反饋信息，生成用于指示預設人員執行與所述反饋信息相對應的動作的視頻，包括：

響應于所述用戶交互信息包括語音音頻，從預先確定的情感類別集合中，確定所述語音音頻所屬的情感類別；

基于所述反饋信息和所確定的情感類別，生成用于指示預設人員執行目標動作的視頻，其中，所述目標動作與所述反饋信息以及所確定的情感類別指示的情感相對應。

7.根據權利要求1-4之一所述的方法，其中，用戶交互信息包括外語語音音頻，所述預設人員為外教；以及

所述基于所述反饋信息，生成用于指示預設人員執行與所述反饋信息相對應的動作的視頻，包括：

響應于所述反饋信息為文本信息，將所述文本信息輸入至針對所述外教預先訓練的生成模型，生成與所述文本信息相對應的語音音頻，以及用于指示所述外教發出所生成的語音音頻的圖像序列，其中，所述生成模型用于生成與所輸入的文本信息相對應的語音音頻，以及用于指示所述外教發出與所輸入的文本信息相對應的語音音頻的圖像序列；

基于所生成的圖像序列和與所述文本信息相對應的語音音頻，生成用于指示所述外教發出與所述文本信息相對應的語音音頻的視頻。

8.根據權利要求7所述的方法，其中，所述生成模型通過如下步驟訓練得到：

獲取目標視頻，其中，所述目標視頻為對所述外教進行圖像拍攝和語音錄制而獲得的視頻，所述目標視頻的播放時長大于或等于預設閾值；

從所述目標視頻中提取相匹配的圖像和音頻幀，得到訓練樣本集合，其中，所述訓練樣本集合中的訓練樣本包括音頻幀、與音頻幀相匹配的圖像，以及與音頻幀相對應的文本信息；

采用機器學習算法，將所述訓練樣本集合中的訓練樣本包括的文本信息作為輸入數據，將訓練樣本包括的音頻幀和圖像作為期望輸出數據，訓練得到生成模型。