[發明專利]視頻合成方法、裝置、設備及存儲介質

有效

• 申請號: 202010611693.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111741326B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 董霙;劉炳楠
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/234;H04N21/2187;H04N5/262
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

本申請公開了一種視頻合成方法、裝置、設備及存儲介質，涉及視頻處理領域。該方法包括：獲取文本；獲取文本對應的音頻，對音頻進行處理，得到音頻中的音素序列對應的n種口型標識和各個口型標識的口型時間點信息，n為正整數；獲取標準化口型序列幀和含有主播形象的視頻，標準化口型序列幀包括n種口型標識對應的口型視頻幀；按照各個口型標識的口型時間點信息，將n種口型標識對應的口型視頻幀與含有主播形象的視頻進行合成處理，得到主播視頻。無需預先訓練用于合成視頻的機器學習模型，只需提供文本即可實現合成主播視頻，降低了視頻的合成難度，同時提高了視頻的合成效率。

技術領域

本申請涉及視頻處理領域，特別涉及一種視頻合成方法、裝置、設備及存儲介質。

背景技術

通常以錄制視頻的方式直觀地向大眾傳遞信息，比如新聞播報、會議主持、法律科普、游戲解說等。

以新聞播報為例，為了降低人工錄制視頻的勞動強度，利用經過深度學習的機器學習模型對含有新聞播報語音的目標語音序列和含有新聞主播的人臉圖像序列進行融合，得到新聞播報視頻。

上述技術方案中，需要采集大量的樣本語音和樣本圖像對機器學習模型進行訓練，目標視頻的合成難度較高，且合成效率較低。

發明內容

本申請實施例提供了一種視頻合成方法、裝置、設備及存儲介質，通過獲取到的文本合成視頻，降低了視頻合成的難度，提高了視頻合成的效率。所述技術方案如下：

根據本申請的一方面，提供了一種視頻合成方法，所述方法包括：

獲取文本；

獲取所述文本對應的音頻，對所述音頻進行處理，得到所述音頻中的音素序列對應的n種口型標識和各個口型標識的口型時間點信息，n為正整數；

獲取標準化口型序列幀和含有主播形象的視頻，所述標準化口型序列幀包括所述n種口型標識對應的口型視頻幀；

按照所述各個口型標識的口型時間點信息，將所述n種口型標識對應的口型視頻幀與所述含有主播形象的視頻進行合成處理，得到主播視頻。

根據本申請的另一方面，提供了一種視頻合成裝置，所述裝置包括：

獲取模塊，用于獲取文本；

所述獲取模塊，用于獲取所述文本對應的音頻，對所述音頻進行處理，得到所述音頻中的音素序列對應的n種口型標識和各個口型標識的口型時間點信息，n為正整數；

所述獲取模塊，用于獲取標準化口型序列幀和含有主播形象的視頻，所述標準化口型序列幀包括所述n種口型標識對應的口型視頻幀；

合成模塊，用于按照所述各個口型標識的口型時間點信息，將所述n種口型標識對應的口型視頻幀與所述含有主播形象的視頻進行合成處理，得到主播視頻。

根據本申請的另一方面，提供了一種計算機設備，所述計算機設備包括處理器和存儲器，所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執行以實現如上述方面所述的視頻合成方法。

根據本申請的另一方面，提供了一種計算機可讀存儲介質，所述可讀存儲介質中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由處理器加載并執行以實現如上述方面所述的視頻合成方法。

根據本申請的另一方面，提供了一種計算機程序產品或計算機程序，所述計算機程序產品或計算機程序包括計算機指令，所述計算機指令存儲在計算機可讀存儲介質中。計算機設備的處理器從所述計算機可讀存儲介質讀取所述計算機指令，所述處理器執行所述計算機指令，使得所述計算機設備執行如上方面所述的視頻合成方法。

本申請實施例提供的技術方案帶來的有益效果至少包括: