[發明專利]一個角色漢語口型動畫自動生成系統

有效

• 申請號: 201010139093.8
• 申請日: 2010-03-31
• 公開（公告）號: CN101826216A
• 公開（公告）日: 2010-09-08
• 發明（設計）人: 于海濤;吳峰風;楊一平;張之益;葛水英;李朋;臧亞男
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T15/70
• 分類號: G06T15/70
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

技術領域

本發明屬于計算機領域，涉及到自然語言處理，語音切分，計算 機角色口型動畫等應用技術，具體針對3D角色漢語口型動畫制作，提 出一個角色漢語口型動畫自動生成系統。

背景技術

制作具有真實感的、準確的三維口型動畫是計算機視覺和計算機 動畫領域的研究熱點。在3D角色動畫制作中，口型動畫的一直是制作 過程中一項比較耗時的工作，需要動畫師一點點將口型與對話相匹 配。

目前，國外的口型動畫系統如Poser口型Mimic，3ds?max口型插 件Voice-O-Matic等，其設計主要針對英語，而對漢語不支持或支持 的效果比較差；而國內部分的口型動畫系統需要手動標定漢字發音的 位置，或者需引用指定抽樣頻段的聲音標本，才能有效地進行切分。

此外，一套完整的3D角色口型動畫生成系統通常包括兩部分：語 音切分模塊和口型動畫生成模塊。已有系統中這兩個模塊只是松散的 耦合(單獨對音頻進行語音切分，然后利用切分的結果指導和設置動 畫口型的關鍵幀位置)，這兩個部分之間幾乎存在很少的交互，因此 也很難根據角色對白語音強度和長度特點，自動完成對于發音位置的 調節以及動畫口型的整理。

發明內容

針對以上問題，本發明的目的在于提出了一個角色漢語口型動畫 自動生成系統，以提高角色漢語口型動畫生成的效率，準確性和靈活 性。該系統具有如下特點：(1)只需輸入對白文本和音頻，系統可自動 在角色模型上實現口型動畫；(2)可根據對白音頻的特點，自動調節各 個漢字語音切分的結果；(3)根據語音的強度調節相關動畫口型變化的 幅度；(4)根據語音的密度調節關鍵幀的設置，減少角色口型抖動。

為達成所述目的本發明提供一個角色漢語口型動畫自動生成系 統，該系統包括：對白文本過濾編碼模塊、對白語音切分模塊、對白 切分編碼整合模塊、以及角色漢語口型動畫生成模塊，對白文本過濾 編碼模塊對對白文本進行短語切分、拼音口型編碼、整體認讀標記設 置及編碼過濾，生成并輸出對白口型編碼序列、對白整體認讀編碼標 識序列和對白口型過濾編碼序列；對白語音切分模塊對對白音頻進行 語音抽樣和語音能量統計，生成并輸出對白語音切分候選結果序列； 對白切分編碼整合模塊連接對白文本過濾編碼模塊和對白語音切分模 塊，對對白語音切分候選結果序列進行整合修正，生成并輸出對白切 分編碼序列；角色漢語口型動畫生成模塊與對白切分編碼整合模塊連 接，根據對白切分編碼序列生成并輸出角色漢語口型動畫。

本發明的有益效果：本發明提出了一個角色漢語口型動畫自動生 成系統只需將對白的音頻和文本輸入系統，無需加載相應的語音庫便 可自動完成整個角色口型動畫的制作。該處理過程完全基于數據驅 動，可根據輸入對白的音頻和文本，自動完成對白編碼，語音切分， 并可根據對白特點完成切分結果和漢字編碼的整合，并最終形成口型 動畫。因此該系統具有較高的實用性，準確性和智能性，可大幅提高 漢語口型動畫制作的效率。

附圖說明：

圖1是本發明一個角色漢語口型動畫自動生成系統結構圖；

圖2是本發明對白過濾編碼模塊流程示意圖；

圖3是本發明對白語音切分模塊流程示意圖；

圖4是本發明對白切分編碼整合模塊流程示意圖；

圖5是本發明角色漢語口型動畫生成模塊流程示意圖；

圖6是本發明7種基本口型示意圖。

具體實施方式

下面結合附圖，系統地對本發明如何對輸入的對白文本和音頻進 行編碼，切分以及形成角色口型動畫的流程進行說明。