[發明專利]基于最小信息熵的神經網絡分詞系統及訓練方法

有效

• 申請號: 201810724646.2
• 申請日: 2018-07-04
• 公開（公告）號: CN110750986B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 張鵬
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06N3/0464;G06N3/0442;G06N3/084
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種基于最小信息熵的神經網絡分詞系統，其特征在于，所述系統包括：

卷積神經網絡、雙向長短期記憶神經網絡、第一詞庫預測層和最小信息熵詞庫預測層，其中：

所述卷積神經網絡用于提取輸入文本的特征向量，并將所述特征向量輸出至所述雙向長短期記憶神經網絡；

所述雙向長短期記憶神經網絡用于接收所述特征向量，進行前后文信息的讀取和去冗余之后輸出至所述第一詞庫預測層和所述最小信息熵詞庫預測層；

所述第一詞庫預測層用于接收所述雙向長短期記憶神經網絡輸出的特征向量并根據第一詞庫計算并輸出所述輸入文本的每個字的標簽；

所述最小信息熵詞庫預測層用于接收所述雙向長短期記憶神經網絡輸出的特征向量并根據最小信息熵詞庫計算并輸出所述輸入文本的每個字的標簽。

2.根據權利要求1所述的系統，其特征在于，所述最小信息熵預測層包括全連接層和條件隨機場層，所述全連接層用于接收所述雙向長短期記憶神經網絡輸出的特征向量，分類后輸出至所述條件隨機場層；所述條件隨機場層用于根據最小信息熵詞庫計算所述條件隨機場輸出的特征向量，并輸出所述輸入文本的每個字的標簽。

3.根據權利要求1所述的系統，其特征在于，所述最小信息熵詞庫預測層用于輸出單字詞的標簽為S，多字詞的第一個字的標簽為B，多字詞的中間的字的標簽為I，多字詞的最后一個字的標簽為E。

4.一種用于如權利要求1至3任一項所述的基于最小信息熵的神經網絡分詞系統的訓練方法，其特征在于，所述方法包括：

計算所述基于最小信息熵的神經網絡分詞系統的損失函數L_total，計算公式如下：

L_total＝L_C+L_C1+L_Fab

其中，L_C為第一詞庫對應的損失函數，L_C1為最小信息熵詞庫對應的損失函數，L_Fab為經過所述第一詞庫輸出的分詞結果的點信息的相反數；

最小化所述基于最小信息熵的神經網絡分詞系統的損失函數L_total，得到收斂的基于最小信息熵的神經網絡分詞系統。

5.根據權利要求4所述的方法，其特征在于，

所述第一詞庫對應的損失函數Lc＝-∑_i,x∈Clogp(y|x；W,b)；

所述最小信息熵詞庫對應的損失函數Lc₁＝-∑_i,x∈C1logp(y|z；W,b)；

所述點信息的相反數

其中，p(y|x；W,b)表示在給定輸入字向量x、權重W和偏置b的前提下輸出標簽y的概率；

p(y|z；W,b)表示在給定輸入字向量z、權重W和偏置b的前提下輸出標簽y的概率；

F_ab的值越大，表示詞a和詞b合并一起后的信息熵越小，p_ab表示詞a和詞b合并后出現的概率。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

構建最小信息熵詞庫的步驟：

統計k個字合并后出現的概率p_a，其中k≥2，且k為整數；

根據所述k個字合并后出現的概率在語料中進行分詞，得到k個字合并后熵最小的分詞結果；

對所述分詞結果進行標記，得到最小信息熵詞庫。

7.根據權利要求6所述的方法，其特征在于，所述得到k個字合并后熵最小的分詞結果包括：

計算使F_a最大值的分詞結果為k個字合并后熵最小的分詞結果；

其中，p_a為k個字合并后出現的概率，p_i為k個字中的單個字出現的概率。