[發明專利]一個角色漢語口型動畫自動生成系統

有效

• 申請號: 201010139093.8
• 申請日: 2010-03-31
• 公開（公告）號: CN101826216A
• 公開（公告）日: 2010-09-08
• 發明（設計）人: 于海濤;吳峰風;楊一平;張之益;葛水英;李朋;臧亞男
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T15/70
• 分類號: G06T15/70
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

1.一個角色漢語口型動畫自動生成系統，其特征在于：該系統包 括：對白文本過濾編碼模塊、對白語音切分模塊、對白切分編碼整合模 塊、以及角色漢語口型動畫生成模塊，其中：

對白文本過濾編碼模塊對對白文本進行短語切分、拼音口型編碼、 整體認讀標記設置及編碼過濾，生成并輸出對白口型編碼序列、對白整 體認讀編碼標識序列和對白口型過濾編碼序列；

對白語音切分模塊對對白音頻進行語音抽樣和語音能量統計，生成 并輸出對白語音切分候選結果序列；

對白切分編碼整合模塊連接對白文本過濾編碼模塊和對白語音切 分模塊，根據對白口型編碼序列、對白整體認讀編碼標識序列及對白口 型過濾編碼序列，對對白語音切分候選結果序列進行整合修正，生成并 輸出對白切分編碼序列；

角色漢語口型動畫生成模塊與對白切分編碼整合模塊連接，根據對 白切分編碼序列生成并輸出角色漢語口型動畫。

2.如權利要求1所述的角色漢語口型動畫自動生成系統，其特征 在于：對白文本過濾編碼模塊生成對白口型編碼序列和對白口型過濾 編碼序列的步驟如下：

步驟S11：構建漢字拼音庫；

步驟S12：構建整體認讀音節庫；

步驟S13：構建拼音口型編碼庫

步驟S14：構建口型過濾編碼庫；

步驟S15：對對白文本進行短語切分并生成對白短語數組；

步驟S16：根據漢字拼音庫，獲取對白短語數組中每一個漢字的拼 音，生成對白短語拼音數組；

步驟S?17：根據整體認讀音節庫，對對白短語拼音數組整體認讀標 識，生成對白整體認讀編碼標識序列；

步驟S18：根據拼音口型編碼庫，對對白短語拼音數組進行口型編 碼，生成對白口型編碼候選序列；

步驟S19：根據口型過濾編碼庫，對對白口型編碼候選序列進行過 濾，生成對白口型編碼序列和對白口型過濾編碼序列。

3.如權利要求2所述的角色漢語口型動畫自動生成系統，其特征 在于：所述整體認讀音節庫包括：zhi，chi，shi，ri，zi，ci，si，yi，wu， yu，ye，yue，yin，yun，yuan和ying?16種整體認讀音節。

4.如權利要求2所述的角色漢語口型動畫自動生成系統，其特征 在于：所述拼音口型編碼庫包括7種基本B口型，F口型，D口型，A 口型，O口型，E口型，U口型。

5.如權利要求2所述的角色漢語口型動畫自動生成系統，其特征 在于：所述口型過濾編碼庫包括聲母為D口型，韻母為E口型的口型編 碼。

6.如權利要求1所述的角色漢語口型動畫自動生成系統，其特征 在于：對白語音切分模塊生成對白語音切分候選結果序列的步驟包括：

步驟S21：對對白音頻進行語音抽樣，形成語音抽樣單元序列；

步驟S22：對語音抽樣單元進行能量統計，獲得語音每個抽樣單元 的能量值；

步驟S23：根據相鄰語音抽樣單元的能量值的變化規律，生成對白 語音切分候選結果序列。

7.如權利要求1所述的角色漢語口型動畫自動生成系統，其特征 在于：對白切分編碼整合模塊對對白語音切分候選結果序列進行整合 修正的步驟包括：

步驟S31：如果語音切分候選結果序列長度大于對白口型編碼序列 的長度，針對那些切分區間過小或能量值變化較小的區間進行合并以剔 除噪聲引起的發音區間斷開，然后將過濾編碼按照順序添加到對白口型 編碼序列中，直到兩者長度相等，生成修正后的對白語音切分候選結果 序列；否則重新進行語音抽樣，重新生成對白語音切分候選結果序列；

步驟S32：對修正后的對白語音切分候選結果序列中的發音相連的 區間進行校正，避免出現角色口型動畫抖動，生成并輸出約簡的對白語 音切分候選結果序列；

步驟S33：針對約簡的對白語音切分候選結果序列，利用對白整體 認讀編碼標識序列，修正每個字的發音位置，生成并輸出對白切分編碼 序列。

8.如權利要求1所述的一個角色漢語口型動畫自動生成系統，其 特征在于：所述的角色漢語口型動畫生成模塊的處理步驟包括：

步驟S41：創建并實現表情控制面板；

步驟S42：利用表情控制面板控制相關變形器的變化，制作角色7 種基準口型對應面部姿態，使得不同基本口型之間能均勻的過渡；

步驟S43：根據對白切分編碼序列和7種基準口型面部姿態，生成 角色漢語口型動畫。