[發明專利]一種視頻生成方法、裝置、設備和存儲介質

在審

• 申請號: 202011085855.0
• 申請日: 2020-10-12
• 公開（公告）號: CN114419204A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 周藝超;李坤;胡景強;劉鵬飛;孫立發;鐘靜華
• 申請（專利權）人: 深圳市聲?？萍加邢薰?/a>
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G06T17/00;G06V40/16;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G10L15/02;G10L15/16
• 代理公司: 北京聯瑞聯豐知識產權代理事務所(普通合伙) 11411
• 代理人: 鄭自群

本發明涉及軟件圖像合成領域，提供了一種視頻生成方法、裝置、設備和存儲介質。方法包括：通過自動語音識別系統將每個音頻數據分解成音素數據，并計算每個音素數據的后驗概率，得到音素后驗概率；通過3D人臉重建技術提取對應的視頻數據中每一幀圖像數據的人臉表情參數，得到表情特征向量；將多個音頻數據對應的視頻數據，通過遞歸神經網絡將表情特征向量以及音素后驗概率生成目標表情模型；獲取待替換的目標視頻；通過3D人臉重建技術提取對應的視頻數據中每一幀圖像數據的人臉三維重建模型，得到虛擬圖像數據；將待替換的目標視頻以及虛擬圖像數據輸入至生成式對抗神經網絡，得到目標生成模型。提高了人臉合成的速度。

技術領域

本發明涉及圖像合成領域，尤其涉及發明名稱一種視頻生成方法、裝置、設備和存儲介質。

背景技術

虛擬人生成技術是一種基于人工智能驅動，利用音頻生成特定形象的相應動作、表情、語言等的技術。虛擬人可以用在人工智能(Artificial Intelligence， AI)助手、AI主播、AI老師等各個領域中。其大致技術流程為先用循環神經網絡(Recurrent NeuralNetwork,RNN)等學習音頻到說話表情的映射關系，之后利用表情參數控制人臉合成流程，合成最后的自然說話視頻。由于AI虛擬人需要和人做大量的交互，若這些交互內容都用預先固定答案的回應預生成，效果會大打折扣。AI虛擬人合成技術的前半部分在目前業界水平已經可以達到實時生成，但從表情參數到合成清晰、高質量的人臉視頻這一過程，因為運算量較大，視頻的生成速度會大打折扣。由于表情參數是一個連續、高維的分布，表情控制的人臉合成流程很難通過預處理提前合成，而生成的過程較為耗時，很難做到實時生成視頻。

發明內容

為了解決生成的過程較為耗時的技術問題，本發明提供一種視頻生成方法，包括：

獲取多個音頻數據；

通過自動語音識別系統將每個所述音頻數據分解成音素數據，并計算每個所述音素數據的后驗概率，得到音素后驗概率；

獲取與所述多個音頻數據對應的視頻數據；

通過3D人臉重建技術提取所述對應的視頻數據中每一幀圖像數據的人臉表情參數，得到表情特征向量；

將所述多個音頻數據對應的視頻數據，通過遞歸神經網絡將所述表情特征向量以及所述音素后驗概率生成目標表情模型；

獲取待替換的目標視頻；

通過3D人臉重建技術提取所述對應的視頻數據中每一幀圖像數據的人臉三維重建模型，得到虛擬圖像數據；

將所述待替換的目標視頻以及所述虛擬圖像數據輸入至生成式對抗神經網絡，得到目標生成模型；

將所述目標表情模型以及目標生成模型部署至客戶端；

通過所述客戶端生成目標視頻。

在一些可能的設計中，所述通過所述客戶端生成目標視頻，包括：

獲取用戶輸入的音頻數據；

將所述用戶輸入的音頻數據輸入至所述目標表情模型，得到目標表情；

將所述目標表情輸入至所述目標生成模型，生成目標圖像；

將所述目標表情以及所述目標圖像通過聚類加速算法，合成對話視頻。

在一些可能的設計中，所述將所述目標表情以及所述目標圖像通過聚類加速算法，合成對話視頻，包括：

通過訓練好的分類器分類所述目標表情，得到所述目標表情的類別；

根據所述目標表情的類別以及所述目標表情生成合成圖像；

將所述合成圖像替換所述目標圖像對應的區域，得到替換后的圖像；