[發明專利]一種視頻生成方法、裝置、服務器及存儲介質

在審

• 申請號: 202111109871.3
• 申請日: 2021-09-22
• 公開（公告）號: CN113901894A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 楊躍;董治;雷兆恒;梅立鋒
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G10L25/57
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例公開了一種視頻生成方法、裝置、服務器及存儲介質，其中方法包括：獲取人聲音頻數據，并獲取目標對象的人臉圖像；根據所述人聲音頻數據生成模擬人臉表情參數，并根據所述人臉圖像生成所述目標對象的三維人臉參數；根據所述模擬人臉表情參數和所述三維人臉參數生成所述目標對象的初始動態人臉視頻；根據所述人聲音頻數據對所述初始動態人臉視頻中的人臉唇形進行修正，得到目標動態人臉視頻；所述目標動態人臉視頻中的人臉唇形與所述人聲音頻數據中的人聲內容相對應。可以產生具有逼真視覺與聽覺效果的動態人臉視頻。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種視頻生成方法、裝置、服務器及存儲介質。

背景技術

隨著計算機技術的快速發展，計算機視覺在日常的生活、工作、學習中得到了越來越多的應用。例如，目前在網絡上也存在大量的合成視頻，這種合成視頻可以是基于一段語音和人臉圖像而生成的人臉表情視頻。但是，目前在通過語音以及人臉圖像來合成人臉表情視頻時，通常只關注于人臉的嘴部運動，而人臉的整體表情與語音內容的同步效果較差，而只有嘴部運動的人臉是比較僵硬的，這就導致所合成的人臉表情視頻的視頻效果較差。因此，如何合成一個較逼真的人臉表情視頻成為了當前計算機視覺技術的研究熱點問題。

發明內容

本申請實施例提供了一種視頻生成方法、裝置、服務器及存儲介質，可以使動態人臉視頻在表情和唇形兩個維度達到較優效果，產生具有逼真視覺與聽覺效果的動態人臉視頻。

本申請實施例第一方面公開了一種視頻生成方法，所述方法包括：

獲取人聲音頻數據，并獲取目標對象的人臉圖像；

根據所述人聲音頻數據生成模擬人臉表情參數，并根據所述人臉圖像生成所述目標對象的三維人臉參數；

根據所述模擬人臉表情參數和所述三維人臉參數生成所述目標對象的初始動態人臉視頻；

根據所述人聲音頻數據對所述初始動態人臉視頻中的人臉唇形進行修正，得到目標動態人臉視頻；所述目標動態人臉視頻中的人臉唇形與所述人聲音頻數據中的人聲內容相對應。

本申請實施例第二方面公開了一種視頻生成裝置，所述裝置包括：

獲取單元，用于獲取人聲音頻數據，并獲取目標對象的人臉圖像；

第一生成單元，用于根據所述人聲音頻數據生成模擬人臉表情參數，并根據所述人臉圖像生成所述目標對象的三維人臉參數；

第二生成單元，用于根據所述模擬人臉表情參數和所述三維人臉參數生成所述目標對象的初始動態人臉視頻；

修正單元，用于根據所述人聲音頻數據對所述初始動態人臉視頻中的人臉唇形進行修正，得到目標動態人臉視頻；所述目標動態人臉視頻中的人臉唇形與所述人聲音頻數據中的人聲內容相對應。

本申請實施例第三方面公開了一種服務器，包括處理器、存儲器和網絡接口，所述處理器、存儲器和網絡接口相互連接，其中，所述存儲器用于存儲計算機程序，所述計算機程序包括程序指令，所述處理器被配置用于調用所述程序指令，執行上述第一方面的方法。

本申請實施例第四方面公開了一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序包括程序指令，所述程序指令當被處理器執行時使所述處理器執行上述第一方面的方法。

本申請實施例第五方面公開了一種計算機程序產品或計算機程序，所述計算機程序產品或計算機程序包括計算機指令，所述計算機指令存儲在計算機可讀存儲介質中。服務器的處理器從計算機可讀存儲介質讀取所述計算機指令，處理器執行所述計算機指令，使得所述服務器執行上述第一方面的方法。