[發明專利]基于最小信息熵的神經網絡分詞系統及訓練方法

有效

• 申請號: 201810724646.2
• 申請日: 2018-07-04
• 公開（公告）號: CN110750986B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 張鵬
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06N3/0464;G06N3/0442;G06N3/084
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供一種基于最小信息熵的神經網絡分詞系統及訓練方法。所述系統包括：卷積神經網絡、雙向長短期記憶神經網絡、第一詞庫預測層和最小信息熵詞庫預測層，其中：卷積神經網絡用于提取輸入文本的特征向量并輸出至雙向長短期記憶神經網絡；雙向長短期記憶神經網絡用于對特征向量進行前后文信息的讀取之后輸出至第一詞庫預測層和最小信息熵詞庫預測層；第一詞庫預測層用于根據第一詞庫計算并輸出每個字的標簽；最小信息熵詞庫預測層用于根據最小信息熵詞庫計算并輸出每個字的標簽。本發明實施例通過在神經網絡分詞系統中添加最小信息熵詞庫預測層，使分詞系統提高未登錄詞的識別能力，進而提高分詞準確率。

技術領域

本發明實施例涉及自然語言處理技術領域，尤其涉及一種基于最小信息熵的神經網絡分詞系統及訓練方法。

背景技術

隨著深度學習的興起，神經網絡分詞系統成為研究熱點。目前基于統計的分詞方法已被各大公司采用，通用的神經網絡分詞系統框架如圖1所示，參照圖1，包括CNN(Convolutional Neural Networks，卷積神經網絡)、BLSTM(Bidirectional Long Short-term Memory，雙向長短期記憶神經網絡) 和預測層，其中BLSTM包括前向LSTM和后向LSTM，預測層為CRF (conditional random field，條件隨機場)。

基于該框架的分詞系統的輸入為一個一個的漢字，通過word2vector (word tovector)工具將每個字都轉換為一個多維向量，將字向量以句子為單位輸入到卷積神經網絡中進行特征提取。典型的卷積神經網輸出特征圖至全連接層，全連接層將多層卷積池化運算后的多組特征依次組合為一組向量，該向量被輸入到BLSTM中進行學習。BLSTM由兩個LSTM網絡堆疊起來，一個從正向讀取文本，另一個反向獲取文本，這樣就可以同時獲取文本的前后文信息，BLSTM輸出結果到CRF即條件隨機場層，該層通過條件隨機場理論對BLSTM層的輸出向量進行計算得到每個字的標簽，如單個字“S”，一個詞的開始為“B”等。這樣在給每個詞打上標簽后我們就得到了分詞結果。

但是這種基于統計的分詞方法嚴重依賴于語料，對語料中不存在的單詞的分割幾乎無法完成，造成分詞結果準確率低。

發明內容

本發明實施例提供一種基于最小信息熵的神經網絡分詞系統及訓練方法，用以解決現有技術中分詞結果準確率低等問題。

一方面，本發明實施例提供一種基于最小信息熵的神經網絡分詞系統，所述系統包括：卷積神經網絡、雙向長短期記憶神經網絡、第一詞庫預測層和最小信息熵詞庫預測層，其中：

所述卷積神經網絡，用于提取輸入文本的特征向量，并將所述特征向量輸出至所述雙向長短期記憶神經網絡；

所述雙向長短期記憶神經網，用于接收所述特征向量，進行前后文信息的讀取和去冗余之后輸出至所述第一詞庫預測層和所述最小信息熵詞庫預測層；

所述第一詞庫預測層，用于接收所述雙向長短期記憶神經網絡輸出的特征向量并根據第一詞庫計算并輸出所述輸入文本的每個字的標簽；

所述最小信息熵詞庫預測層，用于接收所述雙向長短期記憶神經網絡輸出的特征向量并根據最小信息熵詞庫計算并輸出所述輸入文本的每個字的標簽。

另一方面，本發明實施例提供一種基于最小信息熵的神經網絡分詞系統的訓練方法，所述方法包括：

計算所述基于最小信息熵的神經網絡分詞系統的損失函數L_total計算公式如下：

L_total＝L_C+L_C1+L_Fab