[發明專利]一種基于循環神經網絡的蒙古語語言模型的訓練方法

有效

• 申請號: 201810345632.X
• 申請日: 2018-04-17
• 公開（公告）號: CN108549703B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 馬杰;馬志強;楊瑞
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F16/33;G06F16/332;G06F40/30;G06F40/284
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 周新楣

本發明在原有的N?Gram、NNLM、RNNLM語言模型的基礎上提供了一種基于DNN的蒙古語聲學模型并公開了其訓練方法。本發明在輸入層引入上下文詞向量和含有語義信息類別的詞向量，不僅可以學習到更長距離的歷史信息，同時也注入了相關的語義類別信息，有效的解決了現有的語言模型主要存在的問題。

技術領域

本發明屬于蒙古語語音識別領域，具體涉及一種基于循環神經網絡的蒙古語語言模型的訓練方法。

背景技術

語言模型被廣泛應用在自然語言處理中，如語音識別、機器翻譯、問答系統等應用中。語言模型是通過識別語言中允許出現詞序列的先驗概率進行建模，為詞序列提供語法和句法約束?；谠械腘-Gram語言模型，逐步發展出NNLM、RNNLM等多種模型，缺乏對長距離信息的描述能力和缺乏語義信息的注入，是現有的語言模型主要存在的問題。

發明內容

由于基于循環神經網絡的語言模型能更好地避免數據稀疏、長距離依賴欠佳的缺陷，因此本發明提供了一種基于循環神經網絡的蒙古語語言模型(MLMRNN)，在輸入層引入上下文詞向量和含有語義信息類別的詞向量，不僅可以學習到更長距離的歷史信息，同時也注入了相關的語義類別信息，本發明的主要內容包括：1、模型構建

MLMRNN模型結構包括輸入層、隱含層和輸出層，輸入層是x(t)，隱含層是s(t)，輸出層是y(t)。在t時刻，輸入向量x(t)包括三部分，分別是w(t)，s(t-1)和f(t)，其中w(t)代表t時刻輸入的詞的one-hot詞向量表示；s(t-1)為t-1時刻隱含層的輸出；f(t)為t時刻Skip-Gram訓練出的上下文詞向量，維度遠小于|V|；隱含層為s(t)；輸出向量用y(t)表示，包括兩部分，一部分是類別層神經元，另一部分是蒙古語詞神經元，c(t)為對詞匯表進行的詞向量的聚類的類別層，輸出向量y(t)即表示下一個詞w(t+1)的概率。

網絡中，U、W、F為輸入層與隱含層之間的權值矩陣，C為隱含層與類別層的權值矩陣，在輸出層計算的時候先算詞類的概率分布，再從所需的詞類中計算特定詞的概率，計算輸出層的結果需要用到類別的輸出結果。網絡中各層輸出值用表示為：

x(t)＝w(t)+s(t-1)+f(t) (1)

s(t)＝f(U·w(t)+W·s(t-1)+F·f(t)) (2)

c(t)＝g(C·s(t)) (3)

y(t)＝g(V′·s(t)) (4)

其中V′∈R(c(w(t)))，R(c(w(t))表示w(t)所屬的聚類的詞集合，f表示sigmoid激活函數，g表示softmax激活函數。

2、模型預訓練

在MLMRNN的預訓練階段，使用Word2vec+k-means算法得到蒙古語詞表中的蒙古語詞及其所屬的語義類別，并設計了基于one-hot的蒙古語語義詞向量，蒙古語語義詞向量是根據不同的語義類別下的蒙古語詞的個數，作為每個語義類別下的蒙古語詞向量的維度，依次按照語義類別進行詞向量的編碼，編碼完成語義類別1下的所有蒙古語詞后，繼續進行語義類別2下的所有蒙古語詞的詞向量編碼，直至完成所有語義類別下的蒙古語詞編碼，編碼格式同one-hot編碼格式相同。

當對MLMRNN進行訓練和計算時，對每個輸入的蒙古語詞，根據類別信息創建基于one-hot的語義詞向量，作為輸入層進行計算。根據語義分為k類，基于one-hot的蒙古語語義詞向量創建算法如下：

3、模型的訓練算法

wt表示t時刻的當前輸入蒙古語基于one-hot的語義詞向量，維度是詞典V的大小。ft表示t時刻預訓練的蒙古語Skip-Gram詞向量，維度為M(M＜|V|)