[發明專利]實體樣本獲取方法、裝置及電子設備

在審

• 申請號: 202010550976.1
• 申請日: 2020-06-16
• 公開（公告）號: CN111881681A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 溫麗紅;馬璐;劉亮;羅星池;李超
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本公開的實施例提供了一種實體樣本獲取方法、裝置及電子設備。所述方法包括：將待識別語句輸入至預訓練實體識別模型，得到所述待識別語句對應的實體預測結果；從實體數據詞典中獲取所述待識別語句對應的實體分類結果；基于所述實體預測結果和所述實體分類結果，確定所述待識別語句對應的校正候選結果；根據所述校正候選結果和所述實體預測結果之間的概率比，確定所述校正候選結果中的目標校正候選結果，并將所述目標校正候選結果確定為目標實體樣本。本公開的實施例可以減少人力投入，節省了人力資源。

技術領域

本公開的實施例涉及互聯網技術領域，尤其涉及一種實體樣本獲取方法、裝置及電子設備。

背景技術

命名實體識別(NER，Named Entity Recognition)是指識別文本中具有特定意義的實體，主要包括人名、地名、機構名稱、專有名詞等。

在搜索領域，實體識別是識別查詢語句中的實體，包括實體詞以及實體類型。這些實體類型一部分與公司業務強相關，比如品類，一部分為通用類型體系，比如地址等。

實體識別可抽象為序列標注問題，訓練模型需要進行數據標注。然而實體標注比較耗時耗力，大批量標注樣本難獲取，如何自動化地生成較高質量的標注樣本是亟需解決的難題。

目前常用的實體樣本獲取方法主要是基于領域專業人員采用人工構造的規則、模板生成實體標注數據。而人工構造的方式對人員的專業性要求較高，且需要投入較大人力，

發明內容

本公開的實施例提供一種實體樣本獲取方法、裝置及電子設備，用以自動生成實體標注樣本，節省了人力的投入。

根據本公開的實施例的第一方面，提供了一種實體樣本獲取方法，包括：

將待識別語句輸入至預訓練實體識別模型，得到所述待識別語句對應的實體預測結果；

從實體數據詞典中獲取所述待識別語句對應的實體分類結果；

基于所述實體預測結果和所述實體分類結果，確定所述待識別語句對應的校正候選結果；

根據所述校正候選結果和所述實體預測結果之間的概率比，確定所述校正候選結果中的目標校正候選結果，并將所述目標校正候選結果確定為目標實體樣本。

可選地，在所述將待識別語句輸入至預訓練實體識別模型，得到所述待識別語句對應的實體預測結果之前，還包括：

獲取第一數量的實體標注樣本；

采用所述第一數量的實體標注樣本對所述初始實體識別模型進行訓練，得到所述預訓練實體識別模型。

可選地，所述基于所述實體預測結果和所述實體分類結果，確定所述待識別語句對應的校正候選結果，包括：

在所述實體預測結果為所述預訓練實體識別模型切分的單個切分實體詞的預測結果時，將所述實體分類結果作為所述校正候選結果。

可選地，所述基于所述實體預測結果和所述實體分類結果，確定所述待識別語句對應的校正候選結果，包括：

在所述實體預測結果為所述預訓練實體識別模型切分的n個切分實體詞的預測結果時，根據所述實體分類結果和所述n個切分實體詞中n-1個切分實體詞對應的實體預測結果，生成所述待識別語句對應的校正候選結果；

其中，n為大于等于2的正整數。

可選地，所述根據所述校正候選結果和所述實體預測結果之間的概率比，確定所述校正候選結果中的目標校正候選結果，并將所述目標校正候選結果確定為目標實體樣本，包括：

根據所述預訓練實體識別模型切分的切分實體詞的概率、所述切分實體詞的個數和所述校正候選結果的個數，確定所述校正候選結果和所述實體預測結果之間的概率比；