[發明專利]基于共振峰的口型表情動畫生成方法、裝置及存儲介質

在審

• 申請號: 202011618339.X
• 申請日: 2020-12-30
• 公開（公告）號: CN112700520A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 吳強;季曉楓;施恩銘;馬俊;郭翔
• 申請（專利權）人: 上海幻維數碼創意科技股份有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G10L19/032
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

本發明涉及一種基于共振峰的口型表情動畫生成方法、裝置及存儲介質，方法包括以下步驟：對音頻信號進行分幀處理；進行快速傅里葉變換，得到每個語音幀的頻譜，獲取每個語音幀的共振峰數據；基于共振峰數據得到每個語音幀對應的控制字；替換控制序列中的奇異點，得到元音序列，基于元音序列，生成口型動畫和表情動畫。與現有技術相比，本發明基于共振峰數據，得到每個聲音幀對應的元音，再通過替換奇異點，可以減少抖動，口型和表情的變化更加自然流暢，保證了視覺效果，提升了用戶體驗；每次自元音序列中讀取多個控制字，將出現次數最多的控制字作為目標控制字，進一步抑制了因聲音突變而造成的口型和表情突變。

技術領域

本發明涉及語音處理領域，尤其是涉及一種基于共振峰的口型表情動畫生成方法、裝置及存儲介質。

背景技術

隨著動畫、游戲等娛樂產業的發展以及人機交互的普及，動畫與音頻的配合越來越重要，將人臉的口型與語音相匹配在增加人臉動畫的逼真性方面起著重要的作用。鑒于語音和唇部運動之間存在較為直觀的確定性關系，研究人員提出了基于語音自動生成與語音匹配的唇形動畫，如中國專利CN201810671470.9公開的一種游戲角色中文語音自動識別方法、一定程度上滿足了需求，可以生成與語音相匹配的口型動畫。該申請基于中文元音在共振峰上的特征，識別當前幀發的元音口型，基于整段語音生成每幀的口型動畫數據。

但是，在現實生活中，語音不僅與唇形匹配，也與面部表情匹配，已有的工作大多關注于合成與語音匹配的唇形動畫，而忽略了相應的面部表情。現有技術已經公開了一些面部表情動畫的合成方法，如中國專利CN201611261096.2公開的基于語音實時驅動人物模型的表情和姿態的方法，將語音與表情相對應，根據語音切換表情。一些游戲制作公司也基于語音驅動生成與語音相匹配的口型動畫和表情動畫。

但是，由于聲音變化較快，而實際上人的口型和表情變化較慢，因此，如果將每個語音分別對應一個口型和表情動畫時，口型動畫和表情動畫會快速切換，變化時間非常短，在肉眼看來，好像是口型和表情發生了突變，非常不自然，影響視覺效果，用戶體驗不佳。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于共振峰的口型表情動畫生成方法、裝置及存儲介質，基于共振峰數據，得到每個聲音幀對應的元音，再通過替換奇異點，可以減少抖動，口型和表情的變化更加自然流暢，保證了視覺效果，提升了用戶體驗；每次自元音序列中讀取多個控制字，將出現次數最多的控制字作為目標控制字，進一步抑制了因聲音突變而造成的口型和表情突變。

本發明的目的可以通過以下技術方案來實現：

一種基于共振峰的口型表情動畫生成方法，包括以下步驟：

S1：獲取音頻信號，對音頻信號進行分幀處理，得到N(N0)個語音幀；

S2：對每個語音幀分別進行快速傅里葉變換，得到每個語音幀的頻譜，基于頻譜分別得到每個語音幀的共振峰數據；

S3：基于共振峰數據，分別得到每個語音幀對應的控制字，N個語音幀的控制字組成了控制序列{k₁、k₂、…、k_N}，每一個控制字k_i(1≤i≤N)對應一個元音；

S4：遍歷控制序列，替換控制序列中的所有奇異點，得到元音序列，具體為：對于控制序列中的控制字k_s(2≤s≤N-2)，如果k_s≠k_s-1，且k_s-1＝k_s+1＝k_s+2，則控制字k_s為奇異點，將k_s的值替換為k_s-1；

S5：基于元音序列，生成口型動畫和表情動畫。

進一步的，所述步驟S1具體為：