[發明專利]一種基于反事實生成的命名實體識別增強方法

在審

• 申請號: 202010967301.7
• 申請日: 2020-09-15
• 公開（公告）號: CN112257441A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張寅;曾祥極
• 申請（專利權）人: 浙江大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發明公開了一種基于反事實生成的命名實體識別增強方法，所述方法包含如下步驟：1)從已有標注數據中獲取本地實體集合，并按照實體類型進行分類；2)針對已有標注數據中的每一個樣本，用實體集合中的實體隨機替換樣本中的任一個實體，替換后的樣本為反事實樣本；3)利用判別器對反事實樣本進行判別，如果是合理的則用于增強原有的標注數據。與現有的方法相比，本發明有如下益處：1)無需額外的標注資源，如相似領域的數據集或者實體字典；2)無需大量的未標注數據，可解決某些領域缺乏數據的難題；3)能夠打破輸出特征與輸出標簽之間部分的偽相關，從而提高模型的泛化能力。

技術領域

本發明屬于命名實體識別的技術領域，具體涉及一種基于已有訓練樣本生成反事實樣本的命名實體識別增強方法。

背景技術

命名實體識別(Named Entity Recognition，NER)技術是構建結構化知識的一種基本技術，它是指從文本中抽取命名式的提及并對其進行分類，比如人名、地名和機構名等。該技術在醫療、金融和法律等領域均有大量應用，比如在醫療領域，命名實體識別可以從醫學文本中抽取有意義的診斷、手術和部位等實體，這可為下游的知識圖譜構建、知識推理和問答系統提供重要的基礎。

現有主流的實體抽取主要是基于神經網絡的方法，這類方法把實體抽取看作是一個學習問題，首先標注大量的訓練文本，然后將訓練文本送到實體識別模型中去學習。實體識別模型一般是將命名實體識別任務看作序列標注問題，將循環神經網絡(LSTM、GRU等)或者是預訓練語言模型(ELMo、BERT等)作為編碼器來編碼句子，然后再利用多層感知機針對句子中每個字符進行標簽的分類，最后根據標簽來確定實體的位置。這類方法有一個明顯的缺點，需要大量的實體標注數據才能使得模型學習到比較好的效果。

為了克服這個問題，有許多方案被發明出來用于解決少量標注數據的場景。比如，遷移學習可以將相似實體抽取領域數據集的先驗知識遷移到當前領域，這使得當前領域只需要少部分標注數據就可以達到比較好的效果；自訓練可以利用已有的標注數據對未標注的數據進行打標，這種方法可以自動的從未標注的數據中產生監督數據，有效地減輕了數據標注的工作量。然而，這些方案仍然存在一些問題。一方面，對于某些特殊領域，相似領域的數據集很難找到，如果沒有相似領域的數據集，遷移學習就無法利用先驗知識來增強現有領域的實體抽取模型。另一方面，同樣地，在某些領域大量的無標注數據也很難找到。比如在醫療領域，由于隱私保護的原因，人們很難獲取到大量的電子醫療文本，這使得自訓練的方案也無法有效的展開。

因此，在一些無法收集到大量文本數據以及無相似領域數據集的場景，命名實體識別任務只能在少量的標注數據中進行。少量標注數據場景下模型性能不高的原因之一是由于數據集的選擇偏差而導致模型在學習輸入數據與輸出標簽的映射關系時存在著統計學習中的偽相關(Spurious Correlations)。這種偽相關可以生動地被計算機視覺中的一個例子所解釋：假如有一個包含牛和駱駝的圖像數據集，如果這個數據集在收集圖像數據的時候只考慮動物的棲息地，那么在該數據集訓練的分類器將會建立起輸入數據中的風景(綠色草地、沙漠)和輸出標簽(牛、駱駝)之間的映射關系。作為結果，如果將一只在沙灘上的牛的照片送入到這個分類器，那么這個分類器將會做出錯誤的分類。這是因為構建數據集時的選擇偏差而導致分類器學到了風景部分特征和輸出標簽之間的偽相關，決定分類器輸出標簽的最本質和最穩定的特征應該是動物本身的特征。

發明內容

為了解決背景技術中小數據集導致的偽相關問題，本發明提供了一種與主流實體抽取模型無關的數據增強方法。該方法能夠在一定程度上克服這種偽相關的問題，能夠讓模型學習到更本質、更穩定的特征，從而提高模型的穩定性和泛化性能。該方法能被運用于各種少量標注的命名實體識別的場景中。

為了達到上述目的，本方法的具體步驟如下：

一種基于反事實生成的命名實體識別增強方法，其包括如下步驟：