[發明專利]一種基于輕量級循環單元LRU的文本預測方法

有效

• 申請號: 201911142981.2
• 申請日: 2019-11-20
• 公開（公告）號: CN110879833B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 顧乃杰;張孝慈;張宇翔;寧卓睿
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/289;G06F40/284;G06F40/30;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于輕量級循環單元LRU的文本預測方法，其特征包括如下步驟：

步驟1、對文本語料庫進行預處理：

步驟1.1、對所述文本語料庫進行清洗和分詞處理，得到單詞序列；

步驟1.2、從所述單詞序列中去除冗余單詞后生成詞表，在所述詞表中另設有虛擬單詞OOV用于表征未在所述詞表中出現的單詞；

步驟1.3、將所述單詞序列中每個單詞轉換為獨熱編碼向量格式，從而得到獨熱編碼序列X；

步驟2、構造包含輸入層、隱含層和輸出層的輕量級循環單元LRU：

步驟2.1、將所述單詞序列中第t個單詞的獨熱編碼向量記為x^t，令所述輕量級循環單元LRU經獨熱編碼向量x^t更新后的隱含層神經元狀態為h^t；

步驟2.1.1、利用式(1)將第t個單詞的獨熱編碼向量x^t映射到詞嵌入向量空間V_emb中，得到第t個單詞的獨熱編碼向量x^t的詞嵌入向量

式(1)中，W_emb為所述詞嵌入向量空間V_emb的單詞映射矩陣；

步驟2.1.2、利用式(2)將詞嵌入向量映射到隱含層向量空間V_h中，得到詞嵌入向量的隱含層更新向量

式(2)中，W_h為所述隱含層向量空間V_h的映射矩陣，tanh(·)為雙曲正切激活函數；

步驟2.1.3、利用式(3)將隱含層神經元狀態h^t-1與第t個單詞的獨熱編碼向量x^t合并后，映射到向量空間V_f中，并經S型函數激活，得到隱含層神經元狀態的更新系數f^t：

f^t＝σ(Concat(h^t-1,x^t；W_f)) (3)

式(3)中，W_f為所述向量空間V_f的映射矩陣，σ(·)為S型激活函數；當t＝1，h^t-1＝0；

步驟2.1.4、利用式(4)得到第t個單詞的獨熱編碼向量x^t對應的隱含層神經元狀態h^t：

式(4)中，⊙代表Hadamard積；

步驟2.2、利用式(5)計算第t個單詞的獨熱編碼向量x^t在輸出層輸出的概率向量y^t：

y^t＝g(W_yh^t) (5)

式(5)中，g(·)為softmax激活函數；W_y為輸出層的映射矩陣；

步驟3、利用所述獨熱編碼序列X對輕量級循環單元LRU進行訓練，并更新網絡參數，文本預測模型；

步驟3.1、定義當前訓練次數為L，最大訓練次數為L_max，并初始化L＝1；

步驟3.2、在第L次訓練中，將所述獨熱編碼序列X隨機劃分為訓練集和評估集；

步驟3.3、將所述訓練集中任意第t個單詞的獨熱編碼向量x^t作為所述輕量級循環單元LRU的輸入，并輸出對應的第t個概率向量后，與第t+1個單詞的獨熱編碼向量x^t+1一起作為交叉熵函數的輸入值，從而計算得到第t個單詞的獨熱編碼向量x^t的輸出誤差；

步驟3.4、根據第t個單詞的獨熱編碼向量xt輸出誤差，采用時域反饋算法對輕量級循環單元LRU的各個參數進行更新，從而得到第L次訓練的文本預測模型；

步驟3.5、根據步驟3.3，計算所述評估集中的所有單詞的獨熱編碼向量對應的輸出誤差并求和，并判斷L＝1是否成立，若成立，則將L+1賦值給L后，返回步驟3.2；否則，執行步驟3.6；

步驟3.6、判斷L≥L_max是否成立，若成立，則將第L次訓練的文本預測模型作為最終的文本預測模型，否則，執行步驟3.7；

步驟3.7、判斷第L次訓練中的求和結果是否大于第L-1次訓練中的求和結果，若大于，則將第L次訓練的文本預測模型作為最終的文本預測模型，否則，返回步驟3.2；

步驟4、給定測試文本，并按照步驟1進行處理，得到待測試的獨熱編碼序列，將所述待測試的獨熱編碼序列依次輸入所述最終的文本預測模型中，來更新隱含層神經元狀態，并利用所述待測試的獨熱編碼序列中最后一個輸入的獨熱編碼向量所更新的隱含層神經元狀態來計算測試文本中所有單詞的概率向量；

從所述測試文本中所有單詞的概率向量中選擇最大值所在的位置序號，并將最大值所在的位置序號在詞表中相應位置序號對應的單詞作為所述測試文本的預測結果。

2.根據權利要求1所述的基于輕量級循環單元LRU的文本預測方法，其特征在于：所述文本語料庫為語音語料庫，并經過聲學模型解碼算法處理后，得到文本格式的單詞序列。