[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法、裝置以及語音識別方法

在審

• 申請?zhí)枺?/td>: 201310349690.7
• 申請日: 2013-08-12
• 公開（公告）號: CN104376842A
• 公開（公告）日: 2015-02-25
• 發(fā)明（設(shè)計）人: 劉加;史永哲;張衛(wèi)強(qiáng);何亮;王力劭;王燕強(qiáng)
• 申請（專利權(quán)）人: 清華大學(xué);深圳市車音網(wǎng)科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及語音識別技術(shù)，尤其涉及一種神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法、裝置以及語音識別方法。

背景技術(shù)

語音識別是指使用計算機(jī)將一段語音信號轉(zhuǎn)換成對應(yīng)文字的過程,語音識別的結(jié)果依賴于在語音識別中使用的語言模型，其中，語言模型是對序列建模，在給定歷史序列的情況下準(zhǔn)確地預(yù)測下一個詞，或者給定帶有錯誤的句子候選中，挑選出最符合人類語言的候選。理想的語言模型能夠保證語音識別系統(tǒng)輸出合理的識別假設(shè)。

在神經(jīng)網(wǎng)絡(luò)語言模型中，每一個詞都被映射成為高維矢量，語法和語義等相近的詞在高維空間具有比較好的聚集性。神經(jīng)網(wǎng)絡(luò)語言模型在語音識別、機(jī)器翻譯等領(lǐng)域中已經(jīng)取得非常好的效果。

神經(jīng)網(wǎng)絡(luò)語言模型最大的缺點是計算復(fù)雜度過高,該模型的計算負(fù)擔(dān)主要來源于輸出層。對于神經(jīng)網(wǎng)絡(luò)語言模型，給定歷史上文每進(jìn)行一次分?jǐn)?shù)預(yù)測，都需要在輸出層經(jīng)過softmax函數(shù)歸一化成為概率，這一過程使得神經(jīng)網(wǎng)絡(luò)語言模型計算復(fù)雜度高，從而直接限制其廣泛應(yīng)用。

現(xiàn)有技術(shù)通常采用詞語類聚或者樹狀結(jié)構(gòu)等方法，根據(jù)人為經(jīng)驗對詞典進(jìn)行結(jié)構(gòu)化處理，以減小神經(jīng)網(wǎng)絡(luò)語言模型輸出層的計算復(fù)雜度。然而，由于引入了人為因素，現(xiàn)有技術(shù)采用的方法會對神經(jīng)網(wǎng)絡(luò)語言模型的性能造成影響，使得語音識別質(zhì)量（識別率）降低。

發(fā)明內(nèi)容

本發(fā)明的實施例提供一種神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法、裝置以及語音識別方法，能夠在保證語音識別質(zhì)量的前提下，提高語音識別速度。

為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：

一種神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法，包括：對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)語言模型的參數(shù)進(jìn)行初始化，獲取初始化后的參數(shù)；根據(jù)給定的訓(xùn)練文本句子和所述初始化后的參數(shù)，獲取輸出層的狀態(tài)矢量；根據(jù)所述輸出層的狀態(tài)矢量和初始化后的參數(shù)，獲取輸出層的歸一化因子；根據(jù)所述歸一化因子確定所述訓(xùn)練文本句子中待識別詞語的預(yù)測概率；采用所述歸一化因子對目標(biāo)代價函數(shù)進(jìn)行修正，獲取修正后的目標(biāo)代價函數(shù)，其中，所述目標(biāo)代價函數(shù)根據(jù)所述預(yù)測概率獲得；根據(jù)所述修正后的目標(biāo)代價函數(shù)對所述初始化后的參數(shù)進(jìn)行更新，獲取所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)語言模型訓(xùn)練后的目標(biāo)參數(shù)，其中，目標(biāo)參數(shù)使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)語言模型中歸一化因子為常數(shù)。

一種神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練裝置，包括：

初始化模塊，對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)語言模型的參數(shù)進(jìn)行初始化，獲取初始化后的參數(shù)；

第一獲取模塊，用于根據(jù)給定的訓(xùn)練文本句子和所述初始化模塊獲取的初始化后的參數(shù)，獲取輸出層的狀態(tài)矢量；

第二獲取模塊，根據(jù)所述第一獲取模塊獲取的輸出層的狀態(tài)矢量和初始化模塊獲取的參數(shù)，獲取輸出層的歸一化因子；

第三獲取模塊，用于根據(jù)所述第二獲取模塊獲取的歸一化因子確定所述訓(xùn)練文本句子中待識別詞語的預(yù)測概率；

修正模塊，用于根據(jù)所述第三獲取模塊確定的預(yù)測概率獲取目標(biāo)代價函數(shù)，采用所述第二獲取模塊獲取的歸一化因子對目標(biāo)代價函數(shù)進(jìn)行修正，獲取修正后的目標(biāo)代價函數(shù)；

更新模塊，用于根據(jù)所述修正模塊修正后的目標(biāo)代價函數(shù)對所述初始化模塊獲取的參數(shù)進(jìn)行更新，獲取所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)語言模型訓(xùn)練后的目標(biāo)參數(shù)，其中，目標(biāo)參數(shù)使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)語言模型中歸一化因子為常數(shù)。

一種語音識別方法，包括：采用聲學(xué)模型進(jìn)行聲學(xué)觀測匹配的步驟，以及采用神經(jīng)網(wǎng)絡(luò)語言模型進(jìn)行約束搜索空間的步驟；其中，所述神經(jīng)網(wǎng)絡(luò)語言模型為采用本發(fā)明提供的神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法獲取的語言模型。

本發(fā)明實施例提供的神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法、裝置以及語音識別方法，采用歸一化因子對目標(biāo)代價函數(shù)進(jìn)行修正，根據(jù)修正后的目標(biāo)代價函數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)語言模型，獲得目標(biāo)參數(shù)，該目標(biāo)參數(shù)能夠使訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)語言模型中歸一化因子為常數(shù)，從而降低了神經(jīng)網(wǎng)絡(luò)語言模型計算歸一化因子的復(fù)雜度，提高了神經(jīng)網(wǎng)絡(luò)語言模型的計算速度，進(jìn)而提高了采用該語言模型進(jìn)行語音識別的速度，相較于現(xiàn)有技術(shù)提供的技術(shù)方案，模型的計算復(fù)雜度更低，并且，由于本發(fā)明實施例采用歸一化因子對目標(biāo)代價函數(shù)進(jìn)行修正，解決了現(xiàn)有技術(shù)通過人為經(jīng)驗對詞典進(jìn)行結(jié)構(gòu)化處理，造成語音識別質(zhì)量降低的問題，經(jīng)過本發(fā)明實施例提供的神經(jīng)網(wǎng)絡(luò)語言模型的訓(xùn)練方法、裝置訓(xùn)練獲得的語言模型，與現(xiàn)有的神經(jīng)網(wǎng)絡(luò)語言模型的性能基本相同，在保障原有語言模型性能的基礎(chǔ)上，降低了計算復(fù)雜度，提高了計算速度，進(jìn)而提高了識別速率。

附圖說明