[發明專利]基于隱馬爾科夫模型的統計語音合成方法及裝置

有效

• 申請號: 201510272044.4
• 申請日: 2015-05-25
• 公開（公告）號: CN105047192B
• 公開（公告）日: 2018-08-17
• 發明（設計）人: 俞凱;王向然;陳博;徐佳琛
• 申請（專利權）人: 上海交通大學;蘇州思必馳信息科技有限公司
• 主分類號: G10L13/027
• 分類號: G10L13/027;G06F21/36;G06F21/32
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種基于隱馬爾科夫模型的統計語音合成裝置，其特征在于，包括：自然語言問題生成模塊、圖片生成模塊以及語音合成模塊模塊，其中：自然語言問題生成模塊與圖片生成模塊、語音合成模塊相連，并輸出圖片生成規則到圖片生成模塊，輸出自然語言問題字符串到語音合成模塊，輸出問題答案；圖片生成模塊與自然語言問題生成模塊相連并接收圖片生成規則，輸出最終生成的圖片；語音合成模塊與自然語言問題生成模塊相連并接收自然語言問題字符串，輸出最終合成的語音；

所述的語音合成模塊包括：數據持久單元、參數調整單元、自適應合成單元、統計合成單元，其中：數據持久單元與參數調整單元和自適應合成單元相連，向參數調整單元發送預先存儲的參數動態調整范圍，隨機選擇事先訓練的聲音模型、決策樹已經自適應數據集并向自適應合成單元發送；參數調整單元與數據持久單元、統計合成單元相連，從數據持久單元接收參數動態調整范圍，生成動態調整的參數并向統計合成單元發送；自適應合成單元接收參數調整單元發送的聲音模型、決策樹以及自適應數據集，對該模型做自適應訓練并輸出訓練得到的聲音模型和決策樹到統計合成單元；統計合成單元與數據持久單元、參數調整單元、自適應合成單元相連，接收參數調整單元傳送的參數并對自適應合成單元傳送過來的時長模型進行調整，最后接收自然語言問題生成模塊傳送的問題字符串，生成問題語音并傳送給用戶端；

所述裝置通過生成關聯多模態的自然語言問題，根據自然語言問題生成相應圖片并加入干擾元素，根據問題文本，使用基于HMM的語音合成方法的多模態驗證碼合成語音并加入噪聲，使得破解驗證碼的難度由單模態的驗證碼破解概率提升到幾個單模態的驗證碼破解概率的疊加，在不降低用戶體驗的基礎上提高了驗證碼的人機區分度。

2.根據權利要求1所述的裝置，其特征是，所述的合成方法，具體包括：

步驟1、自然語言問題生成，具體包括以下步驟：

1.1)建立自然語言問題規則數據庫，每條數據庫記錄包括一個自然語言問題生成規則和對應的圖片生成規則，這兩條對應的規則的輸入參數相同；

1.2)從自然語言問題規則數據庫中隨機選取一條記錄，隨機產生該條記錄中的規則所需的參數，并保存該數據庫記錄和參數；

1.3)根據該條記錄中的規則和上一步中隨機生成的參數，生成一條字符串，即所需的自然語言問題；

1.4)根據該條記錄中的規則和上一步中隨機生成的參數，計算并生成問題的答案；

步驟2、圖片生成，具體包括以下步驟：

2.1)提取步驟1.2中的所保存的數據庫記錄；

2.2)根據該條數據庫記錄中的的自然語言問題生成規則所對應的圖片生成規則，以及隨機產生的輸入參數，生成一張帶有步驟1.3中生成的自然語言問題的答案的原始圖片；

2.3)將上一步生成原始圖片，通過一系列操作如幾何變換、加入干擾線條和像素點、隨機疊加干擾圖片等方法，生成最后呈現給用戶的圖片；

步驟3、通過基于隱馬爾科夫模型的統計語音合成方法合成語音，具體包括以下步驟：

3.1)建立已經訓練好的基礎語音模型數據庫，每一條數據庫記錄包含一個基礎的語音數據的模型和決策樹，每一個語音數據的模型和決策樹由多種說話人、多種語調、多種說話風格的聲音數據集經過訓練得到；

3.2)隨機選擇一條語音數據庫中的記錄，取出記錄中的模型和決策樹，通過動態設置參數調整時長模型，對聲學模型進行自適應訓練得到新的聲學模型；

3.3)通過調整后的模型和決策樹，生成新的二進制語音合成文件；

3.4)取得步驟1.3中生成的自然語言問題字符串，通過上一步生成的二進制語音合成文件，生成原始的合成語音；

3.5)給上一步生成的原始合成語音加入加性噪聲，即原始音頻和噪聲音頻直接疊加，生成最終的音頻。