[發明專利]命名實體識別方法、裝置、介質以及設備

有效

• 申請號: 201811038043.3
• 申請日: 2018-09-06
• 公開（公告）號: CN109145303B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 楊韜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種命名實體識別方法，其特征在于，包括：

獲取待識別的文本；

對所述待識別的文本進行分詞處理得到分詞序列；

將所述分詞序列輸入命名實體識別模型，獲取所述命名實體識別模型輸出的各個分詞對應的命名實體屬性標識；其中，所述命名實體識別模型用于根據分詞序列中各分詞自身及其上下文各部分的多維分詞特征，通過前饋神經網絡識別得到各分詞對應的命名實體屬性標識，所述多維分詞特征包括一元組分詞和多元組分詞；

根據所述分詞序列中各分詞對應的命名實體屬性標識，確定所述待識別的文本中的命名實體；

所述命名實體識別模型包括：級聯的特征提取模塊、編碼模塊以及分類模塊；

所述特征提取模塊用于針對分詞序列中的各分詞，提取各分詞自身以及各分詞上下文各個部分的多維分詞特征，將各分詞各個部分的多維分詞特征映射為詞向量，根據各分詞各個部分的詞向量生成各分詞各自對應的語義向量；

所述編碼模塊用于根據所述特征提取模塊輸出的語義向量，通過前饋神經網絡學習得到各分詞對應的命名實體屬性特征向量，所述命名實體屬性特征向量用于表征分詞在所有命名實體屬性標識類別下表現的特征向量；

所述分類模塊用于根據所述編碼模塊輸出的各分詞對應的命名實體屬性特征向量，分類得到各分詞對應的命名實體屬性標識。

2.根據權利要求1所述的方法，其特征在于，所述特征提取模塊包括：級聯的多維分詞特征提取模型和詞嵌入模型；

所述多維分詞特征提取模型用于按照上下文選取窗口從分詞序列中，針對各個分詞提取得到分詞本身及其上下文各個部分的多維分詞特征；

所述詞嵌入模型用于根據所述多維分詞特征提取模型針對各個分詞提取的多維分詞特征，通過詞嵌入表獲取與各個分詞特征對應的語義向量。

3.根據權利要求2所述的方法，其特征在于，所述特征提取模塊還包括：映射模型；

所述映射模型用于采用哈希函數將多元組分詞映射到固定長度的整數空間，得到與多元組分詞對應的整數索引，所述固定長度為多元組詞嵌入表的長度；

則所述詞嵌入模型具體用于根據所述多維分詞特征提取模型針對各個分詞提取的分詞本身及其上下文各個部分的一元組分詞，通過一元組詞嵌入表獲取得到對應的詞向量；以及，針對各個分詞提取的分詞本身及其上下文各個部分的多元組分詞，根據所述映射模型輸出的多元組分詞對應的整數索引，從多元組詞嵌入表中獲取對應的詞向量。

4.根據權利要求1所述的方法，其特征在于，所述命名實體識別模型還包括：上下文權重衰減模塊，所述上下文權重衰減模塊與所述特征提取模塊相連；

所述上下文權重衰減模塊用于根據上下文衰減權重對所述特征提取模塊處理的各分詞各個部分的詞向量進行加權處理得到優化詞向量，并將所述優化詞向量輸出至所述特征提取模塊；

所述特征提取模塊具體用于針對分詞序列中的各分詞，提取各分詞自身以及各分詞上下文各個部分的多維分詞特征，將各分詞各個部分的多維分詞特征映射為詞向量，并根據所述優化詞向量生成各分詞各自對應的優化語義向量。

5.根據權利要求1所述的方法，其特征在于，所述命名實體識別模型還包括：屬性標識轉移模塊，所述屬性標識轉移模塊與所述編碼模塊和分類模塊相連；

所述屬性標識轉移模塊用于根據屬性標識概率轉移矩陣對所述編碼模塊輸出的命名實體屬性特征向量進行修正得到修正的命名實體屬性特征向量，將所述修正的命名實體屬性特征向量輸出至所述分類模塊；

則所述分類模塊具體用于根據所述屬性標識轉移模塊輸出的各分詞對應的所述修正的命名實體屬性特征向量，分類得到各分詞對應的命名實體屬性標識。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述命名實體屬性標識包括：

命名實體的起始標識、命名實體的延續標識、和非命名實體標識。