[發明專利]非結構化文本的命名實體識別方法、裝置和電子設備

在審

• 申請號: 202210560032.1
• 申請日: 2022-05-23
• 公開（公告）號: CN114925696A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 余鍇;徐進
• 申請（專利權）人: 江蘇信數科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/289
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 張吉和

本申請提出一種非結構化文本的命名實體識別方法、裝置和電子設備，其中，命名實體識別方法包括：獲取非結構化文本；對非結構化文本進行分割，以生成多個短句；對多個短句進行預處理，以生成目標短句集；對目標短句集進行分組，以生成至少一個待識別目標短句集；調用命名實體識別模型對至少一個待識別目標短句集進行命名實體識別，以生成非結構化文本的命名實體。由此，能夠大大提高命名實體識別的效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種非結構化文本的命名實體識別方法、裝置和電子設備。

背景技術

自然語言處理(Natural Language Processing，NLP)是計算機科學與人工智能領域中的一個重要方向，而命名實體識別(Named Entity Recognition，NER)則是自然語言處理領域中一項十分基本的任務，該任務的目的是識別自然語言文本中特定類型的實體，如人名、地名、機構名等。

目前，最為主流的命名實體識別模型是BERT(Bidirectional EncoderRepresentation from Transformers)模型和ELECTRA(Efficiently Learning anEncoder that Classifies Token Replacements Accurately)模型，兩者都是深度學習模型，后者是基于前者做的一個效率改進模型。

其中，BERT模型和ELECTRA模型是通過矩陣計算來完成識別的功能，而矩陣的列必須是等長的。這就產生了一個天然的限制：輸入的數據寬度必須是一樣的。其中，若輸入的非結構化文本是由一個個句子組成的，則在應用模型時，要以最長的句子(例如，長度100)為標準全部填充為等長的句子，這樣要處理的小數據就會膨脹成大數據，在導出和處理時都花費更多時間，造成處理效率低下。

發明內容

本申請第一方面實施例提出一種非結構化文本的命名實體識別方法，能夠大大提高命名實體識別的效率。

本申請第二方面實施例提出一種非結構化文本的命名實體識別裝置。

本申請第三方面實施例提出一種電子設備。

本申請第四方面實施例提出一種計算機可讀存儲介質。

本申請第一方面實施例提出了一種非結構化文本的命名實體識別方法，包括：獲取非結構化文本；對所述非結構化文本進行分割，以生成多個短句；對所述多個短句進行預處理，以生成目標短句集；對所述目標短句集進行分組，以生成至少一個待識別目標短句集；調用命名實體識別模型對所述至少一個待識別目標短句集進行命名實體識別，以生成所述非結構化文本的命名實體。

根據本申請實施例的非結構化文本的命名實體識別方法，首先獲取非結構化文本，并對非結構化文本進行分割以生成多個短句，以及對多個短句進行預處理以生成目標短句集，然后對目標短句集進行分組以生成至少一個待識別目標短句集，最后調用命名實體識別模型對至少一個待識別目標短句集進行命名實體識別，以生成非結構化文本的命名實體。由此，能夠大大提高命名實體識別的效率。

另外，根據本申請上述實施例的非結構化文本的命名實體識別方法還可以具有如下附加的技術特征：

在本申請的一個實施例中，所述對所述非結構化文本進行分割，以生成多個短句，包括：根據第一特殊符號對所述非結構化文本進行分割，以生成所述多個短句。

在本申請的一個實施例中，所述對所述多個短句進行預處理，以生成目標短句集，包括：根據長度閾值對所述多個短句進行篩選，以生成第一待處理短句集；根據第二特殊符號對所述第一待處理短句集中的每個第一待處理短句進行過濾，以得到第二待處理短句集；對所述第二待處理短句集進行去重處理，以生成所述目標短句集。