[發明專利]同步人像口型與音頻的方法、裝置以及存儲介質

在審

• 申請號: 202110088666.7
• 申請日: 2021-01-22
• 公開（公告）號: CN114785967A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 張磊;井緒海;夏溧;吳海英;王洪斌;蔣寧
• 申請（專利權）人: 北京有限元科技有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N21/43;H04N21/44
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 劉冀

1.一種同步人像口型與音頻的方法，其特征在于，包括：

確定目標音頻包含的多個發音和所述多個發音在所述目標音頻中發出的時間節點；

從預設的資源庫中獲取與所述多個發音對應的多個發音口型圖像，其中所述資源庫用于存儲發音口型圖像；以及

根據所述時間節點將所述多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與所述目標音頻進行同步。

2.根據權利要求1所述的方法，其特征在于，從預設的資源庫中獲取與所述多個發音對應的多個發音口型圖像，包括：

分別確定所述多個發音對應的聲母及韻母；以及

從所述資源庫中獲取與每個發音的聲母及韻母對應的發音口型圖像，其中所述資源庫記錄聲母及韻母和發音口型圖像之間的映射關系。

3.根據權利要求2所述的方法，其特征在于，從所述資源庫中獲取與每個發音的聲母及韻母對應的發音口型圖像，包括：

從多個口型類別中確定與所述發音的聲母及韻母對應的的口型類別，其中所述口型類別是根據發音時的口型對聲母及韻母進行歸類得到；以及

從所述資源庫中獲取與所述口型類別對應的發音口型圖像作為所述發音的發音口型圖像。

4.根據權利要求2所述的方法，其特征在于，確定目標音頻包含的多個發音，包括：

接收文本片段并生成與所述文本片段對應的所述目標音頻，并且分別確定所述多個發音對應的聲母及韻母，包括：

分別確定所述文本片段包含的文字對應的聲母及韻母。

5.根據權利要求3所述的方法，其特征在于，還包括根據以下步驟構建所述資源庫：

將聲母和韻母進行組合，根據發音時的口型將聲母和韻母組合確定為多個口型類別；

確定包含所述多個口型類別的話術文本，并對朗讀所述話術文本的場景進行錄制得到視頻片段；

從所述視頻片段中分別截取與所述多個口型類別對應的唇部圖像幀作為所述發音口型圖像；以及

確定所述口型類別和所述發音口型圖像之間的映射關系，并將所述映射關系存儲至所述資源庫。

6.根據權利要求5所述的方法，其特征在于，從所述視頻片段中分別截取與所述聲母和韻母組合對應的唇部圖像幀作為所述發音口型圖像，包括：

利用語音識別技術對所述視頻片段進行識別，確定所述視頻片段包含的發音以及所述發音的時間戳；以及

根據所述時間戳從所述視頻片段中截取唇部圖像幀作為與所述發音對應的發音口型圖像。

7.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時由處理器執行權利要求1至6中任意一項所述的方法。

8.一種同步人像口型與音頻的裝置，其特征在于，包括：

發音確定模塊，用于確定目標音頻包含的多個發音和所述多個發音在所述目標音頻中發出的時間節點；

口型圖像確定模塊，用于從預設的資源庫中獲取與所述多個發音對應的多個發音口型圖像，其中所述資源庫用于存儲發音口型圖像；以及

同步渲染模塊，用于根據所述時間節點將所述多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與所述目標音頻進行同步。

9.根據權利要求8所述的裝置，其特征在于，口型圖像確定模塊，包括：

確定子模塊，用于分別確定所述多個發音對應的聲母及韻母；以及

口型圖像確定子模塊，用于從所述資源庫中獲取與每個發音的聲母及韻母對應的發音口型圖像，其中所述資源庫記錄聲母及韻母和發音口型圖像之間的映射關系。

10.一種同步人像口型與音頻的裝置，其特征在于，包括：

處理器；以及

存儲器，與所述處理器連接，用于為所述處理器提供處理以下處理步驟的指令：

確定目標音頻包含的多個發音和所述多個發音在所述目標音頻中發出的時間節點；

從預設的資源庫中獲取與所述多個發音對應的多個發音口型圖像，其中所述資源庫用于存儲發音口型圖像；以及

根據所述時間節點將所述多個發音口型圖像渲染至預設的人像視頻的唇部區域，并與所述目標音頻進行同步。