[發明專利]一種基于數據增強與主動學習的小樣本命名實體識別方法

有效

• 申請號: 202110688053.7
• 申請日: 2021-06-21
• 公開（公告）號: CN113361278B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 黃震;李青青;竇勇;胡彪;金持;潘衡岳;汪昌健
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06N3/04
• 代理公司: 湖南企企衛知識產權代理有限公司 43257
• 代理人: 任合明

1.一種基于數據增強與主動學習的小樣本命名實體識別方法，其特征在于包括以下步驟：

第一步，構建結合數據增強的主動命名實體識別系統；該系統由主動學習模塊、數據標注模塊、數據增強模塊、命名實體識別模塊、測試數據池T、未標注數據池U、標注數據池L、增強數據池A構成；其中主動學習模塊、數據標注模塊、數據增強模塊采用多輪循環的方式對命名實體識別模塊中的命名實體識別模型進行訓練并對數據進行標注和增強，在每一輪循環中將命名實體識別模型參數發送給命名實體識別模塊；

主動學習模塊與數據標注模塊、命名實體識別模塊、標注數據池L、增強數據池A相連；主動學習模塊從命名實體識別模塊得到評估結果，評估結果包括未標注數據池U內的NN條未標注數據及未標注數據的打分；主動學習模塊選擇NN條未標注數據中的x發送給數據標注模塊；主動學習模塊使用從標注數據池L、增強數據池A得到的標注數據對命名實體識別模塊進行訓練，得到命名實體識別模型參數，將命名實體識別模型參數發送給命名實體識別模塊，并從命名實體識別模塊獲取對未標注數據的打分；

數據標注模塊與主動學習模塊、數據增強模塊和標注數據池L相連；數據標注模塊將從主動學習模塊接收的x進行標注，得到對應的標注數據，標注數據用二元組x,label(x)表示，label(x)指數據x對應的標簽序列，將標注數據x,label(x)發送給數據增強模塊，并將x,label(x)存儲到標注數據池L；

數據增強模塊與數據標注模塊、增強數據池A相連，采用數據增強方法對標注數據x,label(x)進行增強，產生帶有標簽的新數據x^*,label(x^*)，并將x^*,label(x^*)保存到增強數據池A內，x^*是x增強后的數據，label(x^*)是x^*對應的標簽序列；

命名實體識別模塊與主動學習模塊、未標注數據池U、測試數據池T相連；命名實體識別模塊是一個命名實體識別模型，從主動學習模塊獲取命名實體識別模型參數，采用命名實體識別模型參數更新命名實體識別模型的模型參數,并將更新參數后的命名實體識別模型發送給主動學習模塊；命名實體識別模型采用Lexicon-LSTM模型，由表示層、序列編碼層和標簽推理層組成；命名實體識別模塊接收測試數據池T的未標注數據，將未標注數據中的文本序列轉換為表示向量，利用已有模型得到向量序列，并對向量序列進行打分，命名實體識別模塊將未標注數據及未標注數據的打分發送給主動學習模塊；且命名實體識別模塊對未標注數據進行命名實體識別，預測對應的標簽序列；

第二步：準備簡歷數據集；簡歷數據集包括訓練集、驗證集與測試集，訓練集與驗證集中包含批量簡歷文本序列與文本對應的標簽序列，屬于標注數據；測試集中包含批量簡歷文本序列，屬于未標注數據；將簡歷數據集中的訓練集與驗證集合并，將訓練集與驗證集中的簡歷文本序列作為未標注數據存儲在未標注數據池U內，將簡歷數據集中的測試集存儲在測試數據池T內；令U中未標注數據共有NN條，NN為正整數；U中的一個文本序列即為一條未標注數據，文本序列是評估未標注數據的單位；

第三步：主動學習模塊初始化，將初始化得到的參數發送給命名實體識別模塊，方法為：

3.1令未訓練的命名實體識別模塊中的命名實體識別模型為model₀，主動學習模塊初始化權重參數：將model₀的權重參數集合中所有元素值都初始化為[0,1]之間的隨機數；表示Lexicon-LSTM模型表示層的權重參數，表示Lexicon-LSTM網絡模型序列編碼層的權重參數，表示Lexicon-LSTM網絡模型標簽推理層的權重參數；

3.2令循環變量n＝1，n≤N，N是多輪循環的循環次數，N為正整數；

3.3主動學習模塊將model_n-1的權重參數集合發送給命名實體識別模塊；

第四步：命名實體識別模塊的命名實體識別模型model_n-1給未標注數據池U內NN條未標注數據打分，將U內NN條未標注數據及這NN條未標注數據的打分發送給主動學習模塊；

第五步：主動學習模塊從命名實體識別模塊獲取U內NN條未標注數據及NN條未標注數據的打分，從中選擇第n輪循環的未標注數據x_n，發送給數據標注模塊；

第六步：數據標注模塊對x_n進行標注，得到對應的標注數據x_n,label(x_n)，將x_n,label(x_n)發送到數據增強模塊、并將x_n,label(x_n)存儲到標注數據池L內，同時將x_n從未標注數據池U中刪除；

第七步，數據增強模塊對標注數據x_n,label(x_n)進行增強，得到增強后的標注數據并保存到增強數據池A內；

第八步：主動學習模塊使用與L中的標注數據對命名實體識別模型進行第n輪訓練，得到第n輪循環保存的命名實體識別模型model_n的權重參數集合將發送給命名實體識別模塊；

第九步：命名實體識別模塊根據進行更新；

9.1命名實體識別模塊從主動學習模塊接收將命名實體識別模型按進行更新，得到第n輪循環的命名實體識別模型model_n；

9.2令n＝n+1，若n≤N，轉第四步，繼續下一輪訓練；若nN，說明N輪訓練結束，得到了訓練后的命名實體識別模塊，轉第十步；

第十步：訓練后的命名實體識別模塊對測試數據池T中的數據進行命名實體識別，方法是：

10.1命名實體識別模塊從測試數據池T中讀取數據y，y是批量簡歷文本序列，屬于未標注數據；

10.2命名實體識別模塊利用命名實體識別模型中的表示層，使用預訓練的詞向量將未標注數據y中的文本序列轉換為具有固定大小的序列向量，并且保證相似性高的文本序列對應的向量距離短；詞典信息也通過表示層得到詞典向量，詞典向量與序列向量通過連接進行信息融合，最后轉換為y的表示向量；

10.3命名實體識別模型中的序列編碼層使用一個單層的模型BiLSTM對表示層得到的y的表示向量進行建模，得到y的表示向量建模后的向量序列；

10.4命名實體識別模型中的標簽推理層接收y的表示向量建模后的向量序列，使用條件隨機場對y的表示向量建模后的向量序列進行命名實體識別，預測y的標簽序列label(y)，獲取標注數據結果y,label(y)。