[發明專利]命名實體識別模型的訓練方法和命名實體識別的方法

在審

• 申請號: 202110349239.X
• 申請日: 2021-03-31
• 公開（公告）號: CN113177411A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 韓瑞峰;楊紅飛
• 申請（專利權）人: 杭州費爾斯通科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/216;G06F16/35;G06N20/00
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

1.一種命名實體識別模型的訓練方法，其中，所述命名實體識別模型包括BERT-CRF模型，其特征在于，所述訓練方法包括：

獲取訓練集，所述訓練集包括多批元訓練數據，每一批所述元訓練數據包括訓練支持集和訓練查詢集，其中，所述訓練集為目標領域相近領域的標注樣本；

用每一批所述元訓練數據對命名實體識別模型進行訓練，每輪訓練包括：將所述訓練查詢集和所述訓練支持集輸入到命名實體識別模型中BERT-CRF模型的BERT層，獲取所述訓練查詢集樣本的發射分數和轉移分數，將所述訓練查詢集樣本的發射分數和轉移分數輸入到命名實體識別模型中BERT-CRF模型的CRF層，得到所述命名實體識別模型的損失函數，根據所述命名實體識別模型的損失函數調整所述命名實體識別模型的參數。

2.根據權利要求1所述的訓練方法，其特征在于，所述每輪訓練過程中，所述訓練方法還包括：

獲取測試集，所述測試集包括測試支持集和測試查詢集，其中，所述測試集為目標領域的標注樣本；

將所述測試支持集和所述測試查詢集輸入到所述命名實體識別模型中BERT-CRF模型的BERT層，獲取所述測試查詢集樣本的發射分數和轉移分數；

將所述測試查詢集樣本的發射分數和轉移分數輸入到命名實體識別模型中BERT-CRF模型的CRF層，獲取所述測試查詢集樣本的測試類別標簽；

根據所述測試查詢集樣本的測試類別標簽和真實的類別標簽，判斷所述測試集的準確率，若所述測試集的準確率大于或等于預設值，則停止訓練，若所述測試集的準確率小于預設值，則繼續用下一批所述元訓練數據對命名實體識別模型進行訓練。

3.根據權利要求1所述的訓練方法，其特征在于，將所述訓練查詢集和所述訓練支持集輸入到命名實體識別模型中BERT-CRF模型的BERT層，獲取所述訓練查詢集樣本的發射分數包括：

將所述訓練查詢集和所述訓練支持集輸入命名實體識別模型中BERT-CRF模型的BERT層，得到所述訓練支持集樣本的特征表示向量和所述訓練查詢集樣本的特征表示向量；

獲取預定義的錨類別特征表示向量，所述錨類別特征表示向量通過損失回傳調節向量表示，其中，所述錨類別特征表示向量的數量大于或等于源領域和目標領域中類別數量的總和；

根據所述訓練支持集樣本的特征表示向量，獲取所述訓練支持集中每個類別標簽的特征表示向量，對所述訓練支持集中每個類別標簽的特征表示向量和所述錨類別特征表示向量之間的差值向量計算奇異值分解，得到特征映射函數；

根據所述特征映射函數，計算所述訓練查詢集樣本的特征表示向量與所述錨類別特征表示向量之間的相似度，得到所述訓練查詢集樣本的發射分數。

4.根據權利要求3所述的訓練方法，其特征在于，根據所述訓練支持集樣本的特征表示向量，獲取所述訓練支持集中每個類別標簽的特征表示向量包括：

根據所述訓練支持集樣本中的每個字的類別標簽，獲取每個所述訓練支持集樣本中相應的字的特征表示向量，計算每個類別下全部字的特征表示向量的平均值，作為所述訓練支持集中每個類別標簽的特征表示向量。

5.根據權利要求1所述的訓練方法，其特征在于，將所述訓練查詢集和所述訓練支持集輸入到命名實體識別模型中BERT-CRF模型的BERT層，獲取所述訓練查詢集樣本的轉移分數包括：

根據所述訓練查詢集樣本中的標簽類別，獲取標簽類別轉移矩陣，根據訓練中的損失回傳調節所述標簽類別轉移矩陣，根據所述標簽類別轉移矩陣得到所述訓練查詢集樣本的轉移分數。

6.根據權利要求2所述的訓練方法，其特征在于，所述獲取訓練集和測試集之前，所述訓練方法還包括：

根據所述目標領域，獲取所述目標領域的相近領域的多個源領域的標注數據集，單個領域的標注數據集為一批元訓練數據，使每一批所述元訓練數據中包含的各類型標簽的數量達到均衡，其中，多個源領域的標注數據集為訓練集，目標領域的標注數據集為測試集。