[發明專利]一種基于音頻信息的口型動畫展示方法、裝置及存儲介質

在審

• 申請號: 202010622715.6
• 申請日: 2020-07-01
• 公開（公告）號: CN111915707A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 田野;李劍鵬;劉學民;汝興義
• 申請（專利權）人: 天津洪恩完美未來教育科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06F16/432
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種基于音頻信息的口型動畫展示方法，包括：

檢測同一場景中任意角色的音頻信息，按照音頻信息的時間順序分析所述音頻信息對應的音素序列；

查找與所述音素序列中各音素具有映射關系的口型信息；

依據所述時間順序獲取與查找到的所述口型信息對應幀的口型動畫圖片；

基于獲取的口型動畫圖片生成口型動畫并展示。

2.根據權利要求1所述的方法，其特征在于，按照音頻信息的時間順序分析所述音頻信息對應的音素序列，包括：

將檢測到的所述音頻信息劃分為多個音頻片段；

按照多個音頻片段的時間順序分析所述音頻信息對應的音素序列。

3.根據權利要求1或2所述的方法，其特征在于，按照音頻信息的時間順序分析所述音頻信息對應的音素序列，包括：

按照音頻信息的時間順序提取所述音頻信息的音頻特征；

分析所述音頻特征對應的觀察序列，基于所述觀察序列解碼得到音素序列。

4.根據權利要求1或2所述的方法，其特征在于，檢測同一場景中任意角色的音頻信息之前，還包括：

獲取多個離線音頻文件，將所述離線音頻文件中的離線音頻劃分為多個音頻片段；

按照音頻的時間順序提取多個音頻片段的音頻特征；

利用口型識別模型分析所述音頻特征對應的觀察序列，基于所述觀察序列解碼得到音素序列，輸出音素序列中各音素對應的口型信息；

在各音素和對應的口型信息間建立映射關系。

5.根據權利要求4所述的方法，其特征在于，利用口型識別模型分析所述音頻特征對應的觀察序列之前，還包括：

獲取標注有口型信息的樣本音頻；

將所述樣本音頻劃分為多個樣本音頻片段，提取各樣本音頻片段的音頻特征；

將所述音頻特征和所述樣本音頻標注的口型信息作為訓練數據對所述口型識別模型進行訓練。

6.根據權利要求4所述的方法，其特征在于，按照音頻的時間順序提取多個音頻片段的音頻特征，包括：

按照音頻的時間順序提取多個音頻片段的梅爾倒譜系數特征。

7.根據權利要求1或2所述的方法，其特征在于，依據所述時間順序獲取與查找到的所述口型信息對應的口型動畫圖片，包括：

若查找到的口型信息屬于預設的基礎口型信息，從所述基礎口型信息對應的口型動畫圖片中依據所述時間順序獲取與查找到的所述口型信息對應幀的口型動畫圖片。

8.一種基于音頻信息的口型動畫展示裝置，包括：

檢測模塊，適于檢測同一場景中任意角色的音頻信息，按照音頻信息的時間順序分析所述音頻信息對應的音素序列；

查找模塊，適于查找與所述音素序列中各音素具有映射關系的口型信息；

獲取模塊，適于依據所述時間順序獲取與查找到的所述口型信息對應幀的口型動畫圖片；

展示模塊，適于基于獲取的口型動畫圖片生成口型動畫并展示。

9.一種計算機存儲介質，所述計算機存儲介質存儲有計算機程序代碼，當所述計算機程序代碼在計算設備上運行時，導致所述計算設備執行權利要求1-7任一項所述的基于音頻信息的口型動畫展示方法。

10.一種計算設備，包括：處理器；存儲有計算機程序代碼的存儲器；當所述計算機程序代碼被所述處理器運行時，導致所述計算設備執行權利要求1-7任一項所述的基于音頻信息的口型動畫展示方法。