[發明專利]一種基于輕量級循環單元LRU的文本預測方法

有效

• 申請號: 201911142981.2
• 申請日: 2019-11-20
• 公開（公告）號: CN110879833B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 顧乃杰;張孝慈;張宇翔;寧卓睿
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/289;G06F40/284;G06F40/30;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于輕量級循環單元LRU的文本預測方法，其步驟包括：1對文本語料庫進行預處理，生成單詞序列，并將每個單詞轉換為獨熱編碼向量格式；2構造輕量級循環單元，得到能夠對單詞序列進行語義描述的特征模型；3對輕量級循環單元進行訓練，使其擬合單詞分布規律；4給定測試文本，令輕量級循環單元生成輸出結果，以預測后續出現的單詞。本發明通過計算機自動實現文本及語音信號的預測功能，能夠有效地提升現有文本預測模型的效率，并改善模型的可解釋性，從而能更準確的地進行文本預測。

技術領域

本發明屬于自然語言處理和語音處理領域，具體的說是一種基于輕量級循環單元LRU的文本預測方法，同樣可用于語音信號的預測。

背景技術

文本預測模型在今天被廣泛應用于各種自然語言處理任務中，如語音識別、機器翻譯、文檔分類、人機對話等。研究文本預測模型的目的在于描述自然語言的概率分布模型，以幫助人們提高對自然語言內在規律的認識，推動自然語言相關應用的發展。文本預測模型的原理是從輸入樣本中學習文本序列的統計特性，從而描述給定文本序列后下一個單詞的概率分布。目前，最為常用的文本預測模型建模技術基于長短時記憶網絡(LongShort-term Memory，LSTM)實現，其核心邏輯是利用LSTM的隱含層存儲文本序列的歷史信息，以描述語言中的上下文依賴關系，從而建立歷史輸入單詞到預測單詞之間的映射關系。然而此類現有的文本預測模型存在以下問題：

1)模型結構復雜，計算復雜度較高，嚴重限制了模型訓練和系統調參的效率；

2)2)屬于“黑箱模型”，訓練學習到的模型缺乏可解釋性；

3)因此，有必要對現有的文本預測技術進行改進。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于輕量級循環單元LRU的文本預測方法，以期能提升文本預測模型的預測效率，并改善模型的可解釋性，從而能更準確的地進行文本預測。

本發明為解決技術問題采用如下技術方案：

本發明一種基于輕量級循環單元LRU的文本預測方法的特點包括如下步驟：

步驟1、對文本語料庫進行預處理：

步驟1.1、對所述文本語料庫進行清洗和分詞處理，得到單詞序列；

步驟1.2、從所述單詞序列中去除冗余單詞后生成詞表，在所述詞表中另設有虛擬單詞OOV用于表征未在所述詞表中出現的單詞；

步驟1.3、將所述單詞序列中每個單詞轉換為獨熱編碼向量格式，從而得到獨熱編碼序列X；

步驟2、構造包含輸入層、隱含層和輸出層的輕量級循環單元LRU：

步驟2.1、將所述單詞序列中第t個單詞的獨熱編碼向量記為x^t，令所述輕量級循環單元LRU經獨熱編碼向量x^t更新后的隱含層神經元狀態為h^t；

步驟2.1.1、利用式(1)將第t個單詞的獨熱編碼向量x^t映射到詞嵌入向量空間V_emb中，得到第t個單詞的獨熱編碼向量x^t的詞嵌入向量

式(1)中，W_emb為所述詞嵌入向量空間V_emb的單詞映射矩陣；

步驟2.1.2、利用式(2)將詞嵌入向量映射到隱含層向量空間V_h中，得到詞嵌入向量的隱含層更新向量

式(2)中，W_h為所述隱含層向量空間V_h的映射矩陣，tanh(·)為雙曲正切激活函數；