[發明專利]命名實體識別模型的訓練方法和命名實體識別的方法

在審

• 申請號: 202110349239.X
• 申請日: 2021-03-31
• 公開（公告）號: CN113177411A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 韓瑞峰;楊紅飛
• 申請（專利權）人: 杭州費爾斯通科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/216;G06F16/35;G06N20/00
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

本申請涉及一種命名實體識別模型的訓練方法和命名實體識別的方法，通過獲取訓練集，其中，訓練集為目標領域相近領域的標注樣本；用訓練集對命名實體識別模型進行訓練，每輪訓練包括：將訓練查詢集和訓練支持集輸入到命名實體識別模型的BERT層，獲取訓練查詢集樣本的發射分數和轉移分數，將訓練查詢集樣本的發射分數和轉移分數輸入到命名實體識別模型的CRF層，得到命名實體識別模型的損失，根據損失調整命名實體識別模型的參數，將源領域的標注樣本作為訓練集，利用現有的標注資源，將命名實體識別模型學習到的知識遷移到少量標注樣本的場景下，解決了標注樣本獲取成本高，獲得目標領域的足量標注樣本前，無法開展工作，開發效率低的問題。

技術領域

本申請涉及自然語言處理技術領域，特別是涉及命名實體識別模型的訓練方法和命名實體識別的方法。

背景技術

命名實體(named entity)，是指某領域內的具有特定意義或者代表性強的實體詞，如新聞領域的事件名、地點名、人物名等，命名實體識別(Named Entity Recognition，簡稱NER)，是指識別文本中具有特定意義的實體，主要包括人名、地名、機構名、專有名詞等，目前，主要是將命名實體識別轉化為機器學習中的一個有監督學習的問題進行處理，通過建立統計學習模型或者深度學習模型并進行模型的訓練，最后得到命名實體識別結果。其中，有監督學習的命名實體識別模型的訓練依賴大規模的標注語料，通常標注語料是由人為主動標注獲得的，標注語料獲取成本高，且需要大量的標注語料才能訓練得到可用的命名實體識別模型，在獲得大量的標注語料前，無法開展工作，相當于將開發成本轉嫁到語料的標注上，整體開發效率低。

目前針對相關技術中有監督學習的命名實體識別模型的訓練依賴大規模的標注語料，導致標注成本高且開發效率低的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種命名實體識別模型的訓練方法和命名實體識別的方法，以至少解決相關技術中有監督學習的命名實體識別模型的訓練依賴大規模的標注語料，導致標注成本高且開發效率低的問題。

第一方面，本申請實施例提供了一種命名實體識別模型的訓練方法，所述命名實體識別模型包括BERT-CRF模型，所述訓練方法包括：

獲取訓練集，所述訓練集包括多批元訓練數據，每一批所述元訓練數據包括訓練支持集和訓練查詢集，其中，所述訓練集為目標領域相近領域的標注樣本；

用每一批所述元訓練數據對命名實體識別模型進行訓練，每輪訓練包括：將所述訓練查詢集和所述訓練支持集輸入到命名實體識別模型中BERT-CRF模型的BERT層，獲取所述訓練查詢集樣本的發射分數和轉移分數，將所述訓練查詢集樣本的發射分數和轉移分數輸入到命名實體識別模型中BERT-CRF模型的CRF層，得到所述命名實體識別模型的損失函數，根據所述命名實體識別模型的損失函數調整所述命名實體識別模型的參數。

在其中一些實施例中，所述每輪訓練過程中，所述訓練方法還包括：

獲取測試集，所述測試集包括測試支持集和測試查詢集，其中，所述測試集為目標領域的標注樣本；

將所述測試支持集和所述測試查詢集輸入到所述命名實體識別模型中BERT-CRF模型的BERT層，獲取所述測試查詢集樣本的發射分數和轉移分數；

將所述測試查詢集樣本的發射分數和轉移分數輸入到命名實體識別模型中BERT-CRF模型的CRF層，獲取所述測試查詢集樣本的測試類別標簽；

根據所述測試查詢集樣本的測試類別標簽和真實的類別標簽，判斷所述測試集的準確率，若所述測試集的準確率大于或等于預設值，則停止訓練，若所述測試集的準確率小于預設值，則繼續用下一批所述元訓練數據對命名實體識別模型進行訓練。

在其中一些實施例中，將所述訓練查詢集和所述訓練支持集輸入到命名實體識別模型中BERT-CRF模型的BERT層，獲取所述訓練查詢集樣本的發射分數包括：