[發明專利]一種基于多任務學習的嵌套實體識別系統

在審

• 申請號: 202011292686.8
• 申請日: 2020-11-18
• 公開（公告）號: CN112347785A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 劉晨旭;范紅杰;胡振宇;柳軍飛
• 申請（專利權）人: 湖南國發控股有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06F40/30
• 代理公司: 長沙市標致專利代理事務所(普通合伙) 43218
• 代理人: 蔣佳玉

一種基于多任務學習的嵌套實體識別系統，本方法使用基于跨度的方法解決命名實體識別中命名實體出現嵌套的情況；利用BERT模型編碼上下文信息解決跨度表示的問題；將命名實體識別分解為實體確定和實體分類兩個任務，使用多任務學習的方法解決正負樣本分布不均衡的問題；提出實體交并比損失函數解決困難樣本的問題。本發明能有效解決嵌套命名實體問題，與當前未使用額外數據的同類方法對比，本發明在三個公開嵌套命名實體數據集GENIA、ACE2004、ACE2005上均取得了最好效果，并且在非嵌套命名實體問題上也能取得有競爭力的效果，可以作為命名實體通用方法使用。

技術領域

本發明涉及自然語言處理技術領域，具體涉及一種基于多任務學習的嵌套實體識別系統。

背景技術

命名實體識別(Named Entity Recognition，簡稱NER)，又稱作專名識別，是指識別文本中具有特定意義的實體，主要包括人名、地名、機構名、專有名詞等。命名實體識別是信息提取、問答系統、句法分析、機器翻譯、面向Semantic Web的元數據標注等應用領域的重要基礎工具，在自然語言處理技術走向實用化的過程中占有重要地位。目前多采用序列標注模型處理命名實體識別問題，即給文本中的每個字都標注上相應的標簽。常見的標注方法有BIO方法，命名實體的開始位置標注為B(begin)，其他位置標注為I(inside)，非命名實體位置標注為O(outside)。這種方法對水平命名實體識別問題比較有效，但是當命名實體出現嵌套如“我今天聽了《北京歡迎你》這首歌”中“北京歡迎你”歌曲實體與“北京”地點實體發生了嵌套，序列標注模型就無法同時識別出這兩個命名實體。因此當嵌套實體比例較高時，該方案效果較差。現有技術中存在的一種技術方案(參考Beatrice Alex,BarryHaddow,and Claire Grover.2007.Recognising nested named entities in biomedicaltext.In Proceedings of the Workshop on BioNLP 2007:Biological,Translational,and Clinical Language Processing,pages 65–72.)，該方案中使用多個水平命名實體模型進行嵌套命名實體識別，每個模型識別一種類型的命名實體。這種方案無法處理嵌套的兩個命名實體是同一類別的情況。現有技術中存在的另一種技術方案(參考MohammadGolam Sohrab and Makoto Miwa.2018.Deep exhaustive model for nested namedentity recognition.In Proceedings of the 2018 Conference on Empirical Methodsin Natural Language Processing,pages 2843–2849.)，該方案中使用LSTM對文本句進行編碼，表示出句子中所有跨度，然后對其分類。該方案從原理上可以有效識別出嵌套命名實體，但是LSTM特征抽取能力較弱，無法獲得較好的跨度表示，且該方案沒有考慮到跨度中正負樣本不均衡的情況。

發明內容

本發明的目的是克服現有技術的上述不足而提供一種基于多任務學習的嵌套實體識別系統，本方法使用基于跨度的方法解決命名實體識別中命名實體出現嵌套的情況；利用BERT模型編碼上下文信息解決跨度表示的問題；將命名實體識別分解為實體確定和實體分類兩個任務，使用多任務學習的方法解決正負樣本分布不均衡的問題；提出實體交并比損失函數解決困難樣本的問題。

本發明的技術方案是：一種基于多任務學習的嵌套實體識別系統，包括語義編碼模塊、跨度表示模塊、多任務模塊；其中語義編碼模塊用于負責編碼文本的上下文語義信息，將文本轉化為特征向量便于后續處理；跨度表示模塊用于根據語義編碼模塊的輸出結果對跨度進行表示；多任務模塊用于實現實體確定和實體分類。