[發明專利]視頻生成方法、裝置、設備及存儲介質

有效

• 申請號: 202011587839.1
• 申請日: 2020-12-29
• 公開（公告）號: CN112752118B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 杜緒晗;焦少慧;蘇再卿
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/234;H04N21/2343;H04N21/439;H04N21/44;H04N21/4402;G06T3/00;G06T13/20;G06T13/40;G06T13/80
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

1.一種視頻生成方法，其特征在于，包括：

提取語音數據中各語音幀的語音特征以及各語音幀對應視頻幀的圖像特征，其中，所述語音特征包括維度，所述圖像特征包括通道數、圖像高度、圖像寬度，所述語音幀與所述視頻幀一一對應；

根據所述語音特征和所述圖像特征對所述視頻幀進行仿射變換；

根據仿射變換后的視頻幀生成目標視頻；

根據所述語音特征和所述圖像特征對所述視頻幀進行仿射變換，包括：

將所述語音特征和所述圖像特征輸入設定神經網絡，獲得仿射變換后的視頻幀，其中，所述設定神經網絡包括至少一個子網絡和至少一個仿射變換單元；

所述子網絡包括全局均值池化層、特征拼接層、至少兩個全連接層及維度變換層，子網絡的輸出為子仿射變換系數，所述仿射變換單元用于根據所述子仿射變換系數對所述圖像特征進行仿射變換；

其中，對于每個子網絡，所述圖像特征輸入所述全局均值池化層進行池化處理；池化處理后的圖像特征輸入所述特征拼接層，和輸入所述特征拼接層的語音特征進行特征拼接；拼接后的特征輸入所述至少兩個全連接層進行特征提取后，輸入所述維度變換層，獲得子仿射變換系數。

2.根據權利要求1所述的方法，其特征在于，若設定神經網絡包括至少兩個子網絡，則第1個子網絡的輸入為所述語音特征和所述圖像特征，第N個子網絡的輸入為所述語音特征和根據第N-1個子網絡輸出的子仿射變換系數變換后的圖像特征；其中，N≥2。

3.根據權利要求1或2所述的方法，其特征在于，將所述語音特征和所述圖像特征輸入設定神經網絡，獲得仿射變換后的視頻幀，包括：

所述仿射變換模塊根據所述子仿射變換系數對輸入所述子網絡的圖像特征進行仿射變換，獲得仿射變換后的圖像特征；

若所述子網絡是最后一個子網絡，則根據仿射變換后的圖像特征確定視頻幀；

若所述子網絡不是最后一個子網絡，則將仿射變換后的圖像特征輸入下一個子網絡。

4.根據權利要求1所述的方法，其特征在于，根據所述語音特征和所述圖像特征對所述視頻幀進行仿射變換，包括：

根據所述語音特征和所述圖像特征對所述視頻幀各通道分別進行仿射變換。

5.根據權利要求1所述的方法，其特征在于，所述視頻幀對應的視頻包括由同一張人臉圖片合成的視頻。

6.一種視頻生成裝置，其特征在于，包括：

特征提取模塊，用于提取語音數據中各語音幀的語音特征以及各語音幀對應視頻幀的圖像特征，其中，所述語音特征包括維度，所述圖像特征包括通道數、圖像高度、圖像寬度，所述語音幀與所述視頻幀一一對應；

仿射變換模塊，用于根據所述語音特征和所述圖像特征對所述視頻幀進行仿射變換；

目標視頻生成模塊，用于根據仿射變換后的視頻幀生成目標視頻；

所述仿射變換模塊，具體用于：

將語音特征和圖像特征輸入設定神經網絡，獲得仿射變換后的視頻幀，其中，所述設定神經網絡包括至少一個子網絡和至少一個仿射變換單元；

所述子網絡包括全局均值池化層、特征拼接層、至少兩個全連接層及維度變換層，子網絡的輸出為子仿射變換系數，所述仿射變換單元用于根據所述子仿射變換系數對所述圖像特征進行仿射變換；

其中，對于每個子網絡，所述圖像特征輸入所述全局均值池化層進行池化處理；池化處理后的圖像特征輸入所述特征拼接層，和輸入特征拼接層的語音特征進行特征拼接；拼接后的特征輸入所述至少兩個全連接層進行特征提取后，輸入所述維度變換層，獲得子仿射變換系數。

7.一種電子設備，其特征在于，所述電子設備包括：

一個或多個處理裝置；

存儲裝置，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理裝置執行，使得所述一個或多個處理裝置實現如權利要求1-5中任一所述的視頻生成方法。

8.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，該程序被處理裝置執行時實現如權利要求1-5中任一所述的視頻生成方法。