[發明專利]同步人像口型與音頻的方法、裝置以及存儲介質

在審

• 申請號: 202110088666.7
• 申請日: 2021-01-22
• 公開（公告）號: CN114785967A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 張磊;井緒海;夏溧;吳海英;王洪斌;蔣寧
• 申請（專利權）人: 北京有限元科技有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N21/43;H04N21/44
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 劉冀

本申請公開了一種同步人像口型與音頻的方法、裝置以及存儲介質。其中，該方法包括：確定目標音頻包含的多個發音和多個發音在目標音頻中發出的時間節點；從預設的資源庫中獲取與多個發音對應的多個發音口型圖像，其中資源庫用于存儲發音口型圖像；以及根據時間節點將多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與目標音頻進行同步。

技術領域

本申請涉及音視頻合成技術領域，特別是涉及一種同步人像口型與音頻的方法、裝置以及存儲介質。

背景技術

目前虛擬人像在影視游戲、社交娛樂、商務營銷、日常生活、智慧城市等各種場景廣泛應用，尤其對于互動虛擬主播，虛擬客服等應用需求非常普遍。

當前交互虛擬人像應用實現基本分為兩類，一類通過預置幾個簡單視頻諸如說話、微笑、靜候等，依據場景流程分別切換對應預置視頻。另外一類通過深度學習神經網絡和計算機圖形學結合，讓計算機能夠理解語音內容并精細驅動虛擬人象的口唇動作、面部表情、肢體姿態，生成極具逼真感的虛擬形象動畫。深度學習技術難度比較大，應用成本比較高，在很多成本預算受限項目中，無法落地實施，因此有很多落地項目采用預置動畫方案，但這種方案通過簡單的動畫切換，比較生硬，體驗效果比較差，口型與語音無關聯。

針對上述的現有技術中存在的在生成虛擬人像的過程中無法兼顧人物的形象效果以及制作難度的技術問題，目前尚未提出有效的解決方案。

發明內容

本公開的實施例提供了一種同步人像口型與音頻的方法、裝置以及存儲介質，以至少解決現有技術中存在的在生成虛擬人像的過程中無法兼顧人物的形象效果以及制作難度的技術問題。

根據本公開實施例的一個方面，提供了一種同步人像口型與音頻的方法，包括：確定目標音頻包含的多個發音和多個發音在目標音頻中發出的時間節點；從預設的資源庫中獲取與多個發音對應的多個發音口型圖像，其中資源庫用于存儲發音口型圖像；以及根據時間節點將多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與目標音頻進行同步。

根據本公開實施例的另一個方面，還提供了一種存儲介質，存儲介質包括存儲的程序，其中，在程序運行時由處理器執行以上任意一項所述的方法。

根據本公開實施例的另一個方面，還提供了一種同步人像口型與音頻的裝置，包括：發音確定模塊，用于確定目標音頻包含的多個發音和多個發音在目標音頻中發出的時間節點；口型圖像確定模塊，用于從預設的資源庫中獲取與多個發音對應的多個發音口型圖像，其中資源庫用于存儲發音口型圖像；以及同步渲染模塊，用于根據時間節點將多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與目標音頻進行同步。

根據本公開實施例的另一個方面，還提供了一種同步人像口型與音頻的裝置，包括：處理器；以及存儲器，與處理器連接，用于為處理器提供處理以下處理步驟的指令：確定目標音頻包含的多個發音和多個發音在目標音頻中發出的時間節點；從預設的資源庫中獲取與多個發音對應的多個發音口型圖像，其中資源庫用于存儲發音口型圖像；以及根據時間節點將多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與目標音頻進行同步。

在本公開實施例中，首先確定目標音頻包含的多個發音和多個發音在目標音頻中發出的時間節點，然后確定與多個發音對應的多個發音口型圖像，最終根據時間節點將多個發音口型圖像渲染至預設的人像視頻的唇部區域并與目標音頻同步，從而得到虛擬人像的視頻。與現有技術相比，本方案在生成虛擬人像的過程中不需要利用機器學習等手段對虛擬人像的唇部進行生成，因此可以降低技術的實現難度與成本。此外，本方案的虛擬人像還可以結合發音時的口型，因此使得虛擬人像可以與音頻同步，進而虛擬人像口型更加形象。達到了在保證虛擬人像生動形象的基礎上降低了技術開發成本的技術效果。進而解決了現有技術中存在的在生成虛擬人像的過程中無法兼顧人物的形象效果以及制作難度的技術問題。

附圖說明