[發明專利]基于共振峰的口型表情動畫生成方法、裝置及存儲介質

在審

• 申請號: 202011618339.X
• 申請日: 2020-12-30
• 公開（公告）號: CN112700520A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 吳強;季曉楓;施恩銘;馬俊;郭翔
• 申請（專利權）人: 上海幻維數碼創意科技股份有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G10L19/032
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

1.一種基于共振峰的口型表情動畫生成方法，其特征在于，包括以下步驟：

S1：獲取音頻信號，對音頻信號進行分幀處理，得到N(N0)個語音幀；

S2：對每個語音幀分別進行快速傅里葉變換，得到每個語音幀的頻譜，基于頻譜分別得到每個語音幀的共振峰數據；

S3：基于共振峰數據，分別得到每個語音幀對應的控制字，N個語音幀的控制字組成了控制序列{k₁、k₂、…、k_N}，每一個控制字k_i(1≤i≤N)對應一個元音；

S4：遍歷控制序列，替換控制序列中的所有奇異點，得到元音序列，具體為：對于控制序列中的控制字k_s(2≤s≤N-2)，如果k_s≠k_s-1，且k_s-1＝k_s+1＝k_s+2，則控制字k_s為奇異點，將k_s的值替換為k_s-1；

S5：基于元音序列，生成口型動畫和表情動畫。

2.根據權利要求1所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述步驟S1具體為：

S11：采集聲音信號，并將聲音信號轉換為數字信號，對數字信號進行預加重處理，得到音頻信號；

S12：對音頻信號進行分幀處理得到N個幀，每一幀的長度均為L，20ms≤L≤50ms，相鄰兩幀之間的重疊區域的長度為M，L-M＝λ*L，0λ≤0.5；

S13：對每一幀分別進行加窗處理，得到N個語音幀。

3.根據權利要求2所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述步驟S11中，聲音信號的采樣頻率為44.1kHz。

4.根據權利要求3所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述步驟S12中，每一幀的長度L＝23.2ms，相鄰兩幀之間的重疊區域的長度M＝13.2ms。

5.根據權利要求2所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述步驟S13中，采用漢明窗對每一幀分別進行加窗處理，具體為將每一幀分別乘以漢明窗的窗函數。

6.根據權利要求1所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述步驟S2中基于頻譜分別得到每個語音幀的共振峰數據具體為：獲取每個語音幀的前3個共振峰F1、F2、F3。

7.根據權利要求1所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述步驟S5具體為：根據預設置的讀取速度，每次自元音序列中讀取q(q0)個控制字，取q個控制字中出現次數最多的控制字為目標控制字，獲取目標控制字對應的目標元音，獲取目標元音對應的目標口型和目標表情，生成目標口型動畫和目標表情動畫。

8.根據權利要求7所述的基于共振峰的口型表情動畫生成方法，其特征在于，所述讀取速度為10次/s，q的取值為10，即每秒讀取10次，每次自元音序列中讀取10個控制字。

9.一種基于共振峰的口型表情動畫生成裝置，其特征在于，基于如權利要求1-8中任一所述的口型表情動畫生成方法，包括依次連接的聲音采集模塊、聲音處理模塊、計算模塊和動畫生成模塊，其中：

聲音采集模塊，用于獲取音頻信號；

聲音處理模塊，用于對音頻進行分幀處理、快速傅里葉變換，得到控制序列；

計算模塊，用于替換控制序列中的所有奇異點，得到元音序列；

動畫生成模塊，用于根據元音序列生成口型動畫和表情動畫。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質中存儲有基于共振峰的口型表情動畫生成程序，所述基于共振峰的口型表情動畫生成程序由處理器執行以實現如權利要求1-8中任一所述的基于共振峰的口型表情動畫生成方法。