[發明專利]非結構化文本的命名實體識別方法、裝置和電子設備

在審

• 申請號: 202210560032.1
• 申請日: 2022-05-23
• 公開（公告）號: CN114925696A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 余鍇;徐進
• 申請（專利權）人: 江蘇信數科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/289
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 張吉和

1.一種非結構化文本的命名實體識別方法，其特征在于，包括：

獲取非結構化文本；

對所述非結構化文本進行分割，以生成多個短句；

對所述多個短句進行預處理，以生成目標短句集；

對所述目標短句集進行分組，以生成至少一個待識別目標短句集；

調用命名實體識別模型對所述至少一個待識別目標短句集進行命名實體識別，以生成所述非結構化文本的命名實體。

2.根據權利要求1所述的方法，其特征在于，所述對所述非結構化文本進行分割，以生成多個短句，包括：

根據第一特殊符號對所述非結構化文本進行分割，以生成所述多個短句。

3.根據權利要求1所述的方法，其特征在于，所述對所述多個短句進行預處理，以生成目標短句集，包括：

根據長度閾值對所述多個短句進行篩選，以生成第一待處理短句集；

根據第二特殊符號對所述第一待處理短句集中的每個第一待處理短句進行過濾，以得到第二待處理短句集；

對所述第二待處理短句集進行去重處理，以生成所述目標短句集。

4.根據權利要求3所述的方法，其特征在于，所述根據長度閾值對所述多個短句進行篩選，以生成第一待處理短句集，包括：

計算所述多個短句中每個短句的第一長度；

從所述多個短句中獲取所述第一長度大于或等于所述長度閾值的短句，以生成所述第一待處理短句集。

5.根據權利要求3所述的方法，其特征在于，所述對所述第二待處理短句集進行去重處理，以生成所述目標短句集，包括：

將所述第二待處理短句集中的每個第二待處理短句轉換為哈希碼，以生成短句哈希碼集；

根據所述短句哈希碼集對所述第二待處理短句集進行去重處理，以生成所述目標短句集。

6.根據權利要求1所述的方法，其特征在于，所述對所述目標短句集進行分組，以生成至少一個待識別目標短句集，包括：

計算所述目標短句集中每個目標短句的第二長度；

根據所述第二長度對所述目標短句集進行分組，以生成所述至少一個待識別目標短句集。

7.根據權利要求3所述的方法，其特征在于，所述對所述第二待處理短句集進行去重處理，以生成所述目標短句集，包括：

獲取關鍵詞；

以所述關鍵詞為索引從所述第二待處理短句集之中進行查詢，以生成第三待處理短句集；

對所述第三待處理短句集進行去重處理，以生成所述目標短句集。

8.根據權利要求1所述的方法，其特征在于，其中，所述命名實體識別模型通過以下方式生成：

獲取樣本文本，其中，所述樣本文本中包含標定的命名實體；

將所述樣本文本輸入所述命名實體識別模型，以生成預測的命名實體；

根據所述預測的命名實體和所述標定的命名實體生成損失值，并根據所述損失值對所述命名實體識別模型進行訓練。

9.一種非結構化文本的命名實體識別裝置，其特征在于，包括：

獲取模塊，用于獲取非結構化文本；

分割模塊，用于對所述非結構化文本進行分割，以生成多個短句；

預處理模塊，用于對所述多個短句進行預處理，以生成目標短句集；

分組模塊，用于對所述目標短句集進行分組，以生成至少一個待識別目標短句集；

命名實體識別模塊，用于調用命名實體識別模型對所述至少一個待識別目標短句集進行命名實體識別，以生成所述非結構化文本的命名實體。

10.根據權利要求9所述的裝置，其特征在于，所述分割模塊，具體用于：

根據第一特殊符號對所述非結構化文本進行分割，以生成所述多個短句。