[發明專利]語音驅動唇形動畫的方法

無效

• 申請號: 200910263558.8
• 申請日: 2009-12-24
• 公開（公告）號: CN101751692A
• 公開（公告）日: 2010-06-23
• 發明（設計）人: 章毅;王平安;周激流;鄭伯川;呂建成;張蕾;彭德中;于佳麗;張海仙
• 申請（專利權）人: 四川大學
• 主分類號: G06T15/70
• 分類號: G06T15/70;G06T13/00;G10L21/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種語音驅動唇形動畫的方法，其特征在于，包括以下步驟：

步驟一將漢語中的音節結構采用Consonant-Vowel分類：聲母包括b、p、 m、f、d、t、n、l、g、k、h、j、q、x、zh、ch、sh、r、z、c、s和零聲母，韻 母包括a、ai、an、ang、ao、e、ei、en、eng、er、o、ong、ou、i、i1、i2、ia、 ian、iang、iao、ie、in、ng、iong、iou、u、ua、uai、uan、uang、uei、uen、ueng、 uo、v、van、ve、vn、io；

步驟二采集若干個人的原始音頻數據和視頻數據：每個人讀聲母和韻母單 詞，同時使用DV或者攝像機拍攝，以獲取音頻流和視頻流數據；

步驟三獲取對應唇形信息：把視頻流分割成一幀幀圖片，找出聲母與韻母 所對應的圖片幀，使用ASM算法對正面的人臉圖片進行檢測，獲取聲母和韻母 所對應的唇形信息；

步驟四獲取語音特征數據：對音頻流進行分析處理，提取語音特征數據；

步驟五對步驟三所獲取的唇形信息和步驟四所獲取的語音特征數據進行 訓練和建模，依據訓練的模型合成實時輸入語音的唇形運動序列：將通過ASM 算法檢測正面的人臉圖片獲得唇形信息進行分類和聚類分析處理，消除在采樣 唇形數據時因每個人嘴唇大小不同而產生的誤差，把不同人的唇形形狀歸一化， 把每一幀唇形圖片上的二維坐標轉化為高維空間上的點，將每個點合成一列高 維向量，每一個向量代表一幀唇形圖片信息，對所有向量進行分類與聚類分析 處理，并劃分到N個基本唇形類別中，利用語音幀和唇形幀在時間序列上的一 一對應關系，將對應的語音幀也進行聚類劃分成N個類別，其中N的取值通過 觀察唇形樣本狀態取值，將已經歸類的語音幀和唇形幀的每一個類別建立BP網 絡模型，共建N個BP網絡模型，分別訓練N個BP網絡模型中各個節點的連接 權值和閥值，經過BP網絡模型處理，把每個實時語音幀歸類，以此類推，可得 到與語音特征數據所對應的唇形幀序列，唇形幀序列經過平滑處理，就形成平 滑與自然的唇形運動序列。