[發明專利]實體識別方法、裝置、計算機可讀介質及電子設備

有效

• 申請號: 202110471896.1
• 申請日: 2021-04-29
• 公開（公告）號: CN112988979B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 楊韜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/36;G06F40/295;G06N20/00
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 胡琳

1.一種實體識別方法，其特征在于，所述方法包括：

對待識別文本進行特征提取處理，以獲得所述待識別文本中各個文字對應的字特征向量；

將所述各個文字對應的字特征向量輸入實體識別模型，所述實體識別模型是根據訓練樣本中各個樣本文字針對各個實體標簽的第一輸出概率和所述訓練樣本中各個樣本分詞針對各個實體類型的第二輸出概率訓練得到的；

所述實體識別模型對接收到的字特征向量進行運算，輸出所述各個文字針對所述各個實體標簽的第一預測概率；所述第一預測概率用于根據相應的權重確定所述各個文字對應的實體標簽，所述第一預測概率相應的權重是得到第一預測概率的方式的準確率與得到第一預測概率的方式的準確率和得到第二預測概率的方式的準確率之和的占比；

所述實體識別模型根據接收到的字特征向量，轉換得到所述待識別文本中各個分詞對應的詞特征向量，并對所述各個分詞的詞特征向量進行運算，輸出各個分詞針對所述各個實體類型的第二預測概率；所述第二預測概率用于根據相應的權重確定所述各個分詞對應的實體類型，所述第二預測概率相應的權重是得到第二預測概率的方式的準確率與得到第一預測概率的方式的準確率和得到第二預測概率的方式的準確率之和的占比；

根據所述第一預測概率和所述第二預測概率，確定所述待識別文本的實體識別結果。

2.根據權利要求1所述的方法，其特征在于，根據所述第一預測概率和所述第二預測概率，確定所述待識別文本的實體識別結果，包括：

將所述各個文字針對所述各個實體標簽的第一預測概率中的最大預測概率所對應的實體標簽作為所述各個文字對應的目標實體標簽，將所述目標實體標簽指示為同一實體類型且位置連續的文字識別為同一個實體，得到所述待識別文本的第一實體識別結果；

將所述各個分詞針對所述各個實體類型的第二預測概率中的最大預測概率所對應的實體類型作為所述各個分詞對應的目標實體類型，根據所述各個分詞對應的目標實體類型，確定所述待識別文本的第二實體識別結果；

合并所述第一實體識別結果以及所述第二實體識別結果，得到所述待識別文本的實體識別結果。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述訓練樣本輸入所述實體識別模型，得到所述實體識別模型的輸出結果，所述輸出結果中包含所述各個樣本文字針對各個實體標簽的第一輸出概率和所述各個樣本分詞針對各個實體類型的第二輸出概率；

根據所述各個樣本文字對應的標注實體標簽和所述第一輸出概率構建第一損失函數，并根據所述各個樣本分詞對應的標注實體類型和所述第二輸出概率構建第二損失函數；

根據所述第一損失函數和所述第二損失函數構建聯合損失函數，基于所述聯合損失函數訓練所述實體識別模型，得到訓練好的實體識別模型。

4.根據權利要求3所述的方法，其特征在于，根據所述各個樣本文字對應的標注實體標簽和所述第一輸出概率構建第一損失函數，包括：

根據所述各個樣本文字對應的標注實體標簽，確定與所述標注實體標簽相同的實體標簽對應的第一輸出概率；

將與所述標注實體標簽相同的實體標簽對應的第一輸出概率，作為所述各個樣本文字的目標概率；

根據所述各個樣本文字的目標概率，構建所述第一損失函數。

5.根據權利要求4所述的方法，其特征在于，根據所述各個樣本文字的目標概率，構建所述第一損失函數，包括：

對所述各個樣本文字的目標概率進行對數運算，得到多個運算結果；

根據所述多個運算結果的運算結果之和，確定所述第一損失函數。

6.根據權利要求3所述的方法，其特征在于，根據所述各個樣本分詞對應的標注實體類型和所述第二輸出概率構建第二損失函數，包括：

根據所述各個樣本分詞對應的標注實體類型，確定與所述標注實體類型相同的實體類型對應的第二輸出概率；

將與所述標注實體類型相同的實體類型對應的第二輸出概率，作為所述各個樣本分詞的目標概率；

根據所述各個樣本分詞的目標概率，構建所述第二損失函數。