[發明專利]一種LSTM神經網絡訓練方法及裝置

有效

• 申請號: 201910863211.0
• 申請日: 2019-09-12
• 公開（公告）號: CN110782002B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 曾理;王純斌;藍科
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F40/289;G06F40/295
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種LSTM神經網絡訓練方法，包括由無標注文本生成的訓練數據，其特征在于：將無標注文本中的關鍵詞處理后根據關鍵詞對訓練數據進行加權，提升訓練數據對特征信息的攜帶能力，將加權后的訓練數據用于LSTM神經網絡訓練的方法包括以下步驟：

S1、將無標注文本作為訓練文本，對訓練文本進行預處理；

S2、對預處理后的訓練文本進行識別，生成訓練文本的關鍵詞；

S3、對訓練文本中的詞語進行編碼，得到高維空間連續詞向量，對關鍵詞進行同樣的編碼得到關鍵詞向量；

S4、將關鍵詞向量添加至對應的詞向量對詞向量進行加權得到最終的訓練數據；

S5、將最終的訓練數據輸入LSTM神經網絡進行訓練。

2.根據權利要求1所述的一種LSTM神經網絡訓練方法，其特征在于：所述步驟S1中對訓練文本進行預處理的方法包括清洗、分詞、去停用詞中的至少一種。

3.根據權利要求1所述的一種LSTM神經網絡訓練方法，其特征在于：所述步驟S2中的關鍵詞包括實體關鍵詞、關系關鍵詞和事件關鍵詞。

4.根據權利要求3所述的一種LSTM神經網絡訓練方法，其特征在于：所述步驟S3中的關鍵詞線路包括分別與實體關鍵詞、關系關鍵詞和事件關鍵詞對應的實體向量、關系向量和事件向量。

5.根據權利要求4所述的一種LSTM神經網絡訓練方法，其特征在于：所述步驟S4中將關鍵詞向量添加至對應的詞向量對詞向量進行加權包括實體增強加權、關系增強加權和事件增強加權。

6.根據權利要求1所述的一種LSTM神經網絡訓練方法，其特征在于：所述步驟S3中對訓練文本中的詞語進行編碼和對關鍵詞進行同樣的編碼的編碼方法為先進行one-hot編碼再進行word2vector詞向量轉化。

7.根據權利要求1所述的一種LSTM神經網絡訓練方法，其特征在于：所述LSTM神經網絡進行訓練的方法包括前向傳播和沿時反向傳播算法。

8.根據權利要求7所述的一種LSTM神經網絡訓練方法，其特征在于：所述步驟S5中將最終的訓練數據分批逐次輸入LSTM神經網絡進行訓練直到滿足訓練停止條件。

9.一種LSTM神經網絡訓練方法及裝置，其特征在于：包括：

存儲器，用于存儲可執行指令；

多核處理器，用于執行所述存儲器中存儲的可執行指令，實現如權利要求1所述的LSTM神經網絡訓練方法。