[發明專利]一種融合神經網絡和規則的命名實體識別方法及裝置

在審

• 申請號: 202011622224.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112699683A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 孟先艷;孫紹利;樊勁松
• 申請（專利權）人: 大唐融合通信股份有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/126;G06N3/04
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;曹娜

1.一種融合神經網絡和規則的命名實體識別方法，其特征在于，包括：

構建基于雙向長短期記憶網絡-條件隨機場BiLSTM-CRF和注意力機制的命名實體識別模型，其中，所述命名實體識別模型是基于目標領域的對話文本數據訓練得到的，用于識別所述目標領域的命名實體的模型；

根據所述命名實體識別模型，提取待識別的目標語句的第一實體識別結果；

基于命名實體識別的預設規則，提取已替換所述第一實體識別結果的所述目標語句的第二實體識別結果；

融合所述第一實體識別結果和所述第二實體識別結果，獲取所述目標語句的命名實體識別結果。

2.根據權利要求1所述的融合神經網絡和規則的命名實體識別方法，其特征在于，所述方法還包括：

按照以下步驟，訓練得到所述命名實體識別模型：

獲取目標領域的對話文本數據，對所述對話文本數據進行預處理；

根據預先制定的所述目標領域的命名實體類型，對預處理后的所述對話文本數據進行標注，獲得訓練語料集，所述訓練語料集包括訓練集和測試集；

構建一個基于BiLSTM-CRF和注意力機制的神經網絡模型；

利用所述訓練集對所述神經網絡模型進行訓練，以及，利用所述測試集對訓練得到的所述神經網絡模型進行驗證，獲取驗證結果；

選擇所述驗證結果中準確率最高的神經網絡模型作為所述命名實體識別模型。

3.根據權利要求2所述的融合神經網絡和規則的命名實體識別方法，其特征在于，獲取目標領域的對話文本數據，對所述對話文本數據進行預處理，包括：

根據預設編碼格式，對所述對話文本數據進行編碼，獲取第一對話文本數據；

去除所述第一對話文本數據中的非文本數據和亂碼數據，獲取第二對話文本數據；

對所述第二對話文本數據進行分字處理，獲取以字符為單位的文本序列。

4.根據權利要求2所述的融合神經網絡和規則的命名實體識別方法，其特征在于，根據預先制定的所述目標領域的命名實體類型，對預處理后的所述對話文本數據進行標注，獲得訓練語料集，所述訓練語料集包括訓練集和測試集，包括：

根據預設標注方法和預先制定的所述目標領域的命名實體類型，對所述預處理后的所述對話文本數據進行標注，獲取訓練語料集；

根據十折交叉驗證方法，劃分所述訓練語料集為訓練集和測試集。

5.根據權利要求2所述的融合神經網絡和規則的命名實體識別方法，其特征在于，利用所述訓練集對所述神經網絡模型進行訓練之前，包括：

利用預設詞嵌入模型對所述訓練集進行訓練，獲取所述訓練集中每一個字符的字向量。

6.根據權利要求5所述的融合神經網絡和規則的命名實體識別方法，其特征在于，利用所述訓練集對所述神經網絡模型進行訓練，包括：

將所述訓練集中每一個字符對應的所述字向量輸入至所述神經網絡模型的輸入層；

將所述輸入層得到所述字向量輸入至所述神經網絡模型的BiLSTM層和注意力機制層，提取特征，獲取特征向量；

在所述神經網絡模型的CRF層，獲取所述特征向量計算出的最優標注序列；

在所述神經網絡模型的輸出層，輸出所述訓練集中每一個字符對應的標注序列。

7.根據權利要求6所述的融合神經網絡和規則的命名實體識別方法，其特征在于，將所述輸入層得到所述字向量輸入至所述神經網絡模型的BiLSTM層和注意力機制層，提取特征，獲取特征向量，包括：

在所述BiLSTM層，獲取所述字向量的雙向特征向量；

在所述注意力機制層，將表示所述字向量順序的位置向量和所述雙向特征向量進行拼接，并分配權重系數，獲取特征向量。

8.根據權利要求1所述的融合神經網絡和規則的命名實體識別方法，其特征在于，所述命名實體識別模型用于識別以下命名實體類型中的至少一種：

所述目標領域中的人名、地名、組織機構、業務名稱、產品名稱和故障。