[發明專利]手勢到漢藏雙語語音轉換方法及裝置

在審

• 申請號: 201410812309.0
• 申請日: 2014-12-23
• 公開（公告）號: CN104538025A
• 公開（公告）日: 2015-04-22
• 發明（設計）人: 楊鴻武;安曉春
• 申請（專利權）人: 西北師范大學
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L17/16;G10L17/22;G06K9/62
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種手勢到漢藏雙語語音轉換方法，其特征在于，包括步驟：

A、獲取深度圖像，并基于深度圖像進行手勢分割；基于深度圖像的手勢分割主要取決于手和攝像頭之間的距離，在通過Kinect傳感器獲得深度圖像后，圖像劃分為手像素區域和背景像素區域，進行二值化處理后，就能將手勢形狀分割出來用于進行特征提取和匹配；

B、利用改進的SURF算法對分割出的手勢圖像進行快速魯棒特征的匹配，得出手勢的匹配結果；

C、根據啞語的手勢含義，對各個靜態手勢，設計了一個手勢的語義詞典，然后供語音合成系統根據識別出的手勢合成出相應的語音；

D、利用漢藏多說話人的語音數據，基于HMM模型，通過說話人自適應訓練，訓練得到混合語言平均音模型；

E、用待合成目標語言藏語或漢語語音少量說話人的語料，通過說話人自適應變換，得到說話人自適應模型，并對自適應模型進行修正和更新；

F、利用基于HMM的漢藏雙語語音合成系統合成藏語或漢語語音。

2.如權利要求1所述的手勢到漢藏雙語語音轉換方法，其特征在于，所述步驟A中所述基于深度圖像的手勢分割包括如下步驟：首先由用戶輸入手勢，通過Kinect攝像頭獲得640×480像素的場景深度圖像，圖像劃分為手像素區域和背景像素區域，然后根據深度圖像成像原理，將場景深度信息值轉換到灰度值空間，計算出灰度直方圖，再進行二值化處理后，就能將手勢形狀分割出來用于進行特征提取。

3.如權利要求1所述的手勢到漢藏雙語語音轉換方法，其特征在于，所述步驟B中的SURF算法包括如下步驟：首先對實時圖像與模板圖像的積分圖進行計算分析，然后提取兩者的SURF關鍵點描述符，通過采用最近鄰匹配算法對SURF算法自有的快速索引匹配的結果進行優化，最后比較實時圖像與不同模板圖像的關鍵點匹配對數，對數最多的那一組即為匹配的結果。

4.如權利要求1所述的手勢到漢藏雙語語音轉換方法，其特征在于，所述步驟C中的手勢的語義詞典的獲取包括如下步驟：首先將手勢的語義用漢藏雙語進行表達，然后利用一個漢藏雙語的文本分析程序，獲得手勢的語義表達的聲韻母、音節、詞、韻律詞和韻律短語、語句的上下文相關信息；然后利用這些上下文信息產生語義的上下文相關標注，產生的上下文相關標注連同手勢及其語義定義保存到一個手勢的語義詞典中，供語音合成系統根據識別出的手勢合成出相應的語音。

5.如權利要求1所述的手勢到漢藏雙語語音轉換方法，其特征在于，所述步D中的通過說話人自適應訓練，訓練得到混合語言平均音模型包括如下步驟：

a、對多說話人的漢語語料庫和單說話人的藏語語料庫數據進行語音分析，提取其聲學參數：基頻、時長和mel倒譜系數，并計算基頻和mel倒譜系數的一階差分和二階差分；

b、結合上下文屬性集，進行HMM模型訓練，訓練頻譜和基頻參數的HMM模型以及狀態時長參數的時長模型；

c、利用少量單說話人漢語語音庫和單說話人藏語語音庫，進行說話人自適應訓練，得到漢藏雙語的混合語言平均音模型，從而得到上下文相關的MSD-HSMM模型；

d、利用漢語和藏語的單說話人自適應數據，進行說話人自適應變換；

e、對自適應模型進行修正和更新的步驟如下：

(1)采用最大后驗(MAP)算法，計算平均音模型狀態輸出和時長分布的MAP估計參數，

(2)計算自適應變換后的狀態輸出和狀態時長的均值向量，

(3)計算自適應均值向量的加權平均MAP估計值；

f、輸入待合成的文本，對其進行文本分析，得到句子的HMM模型；

g、對句子HMM進行參數預測，進行語音參數生成，經參數合成器后得到合成語音，公式如下：

其中，為訓練說話人s的狀態輸出均值向量，d_i為其狀態時長均值向量。和分別為訓練說話人s和平均音模型之間狀態輸出分布和狀態時長分布差異的變換矩陣，o_i和d_i為平均觀測向量和平均時長向量。