[發明專利]一種基于多任務學習的嵌套實體識別系統

在審

• 申請號: 202011292686.8
• 申請日: 2020-11-18
• 公開（公告）號: CN112347785A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 劉晨旭;范紅杰;胡振宇;柳軍飛
• 申請（專利權）人: 湖南國發控股有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06F40/30
• 代理公司: 長沙市標致專利代理事務所(普通合伙) 43218
• 代理人: 蔣佳玉

1.一種基于多任務學習的嵌套實體識別系統，其特征在于：包括語義編碼模塊、跨度表示模塊、多任務模塊；

其中語義編碼模塊用于負責編碼文本的上下文語義信息，將文本轉化為特征向量便于后續處理；

跨度表示模塊用于根據語義編碼模塊的輸出結果對跨度進行表示；

多任務模塊用于實現實體確定和實體分類。

2.根據權利要求1所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：所述語義編碼模塊使用BERT預訓練語言模型對待處理的文本句進行編碼，融合上下文信息將文本轉化為特征向量表示。

3.根據權利要求2所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：對于一個包含n個詞的句子(t₁,t₂,…,t_n)，為了限制詞表大小以及緩解未登錄詞問題，BERT使用雙字節編碼可以將不常見的詞轉換為常見的子詞，得到一個包含m個子詞的句子，其中m和n為整數，且m≥n，子詞序列通過BERT編碼得到一個向量序列e＝(cls,e₁,e₂,…,e_m)，其中cls編碼了整個句子的語義信息，e_i為對應子詞的特征向量表示。

4.根據權利要求3所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：所述跨度表示模塊根據語義編碼得到的e求出每個跨度的向量表示。

5.根據權利要求4所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：所述跨度表示由跨度上下文編碼、句子語義編碼、長度嵌入三個部分拼接而成。

6.根據權利要求1所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：所述多任務模塊將實體識別分解為實體確定和實體分類兩個子任務，實體確定任務確定一個跨度是否為實體，實體分類任務在確定一個跨度為實體后將其分類為對應的類別。

7.根據權利要求6所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：在實體確定任務的訓練階段，為關注困難樣本，利用一種實體交并比損失函數進行優化；該損失函數需要計算跨度之間的交并比，兩個跨度之間的交并比通過公式(1)計算得到，

然后求得每個跨度與其所在句中實體最大的交并比，作為該跨度的實體交并比，使用_ENIoU表示，實體交并比損失定義如式(2)所示：

其中y取值為0或1，代表跨度的真實標簽，0為非實體跨度，1為實體跨度；α取值為0到1之間的實數，作為平衡系數緩解類別不均衡問題，p為模型預測該跨度為1時的概率。

8.根據權利要求7所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：實體分類任務在訓練階段使用排序損失函數進行優化。

9.根據權利要求8所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：在計算出實體確定任務和實體分類任務的損失之后，將兩個損失值加權求和，通過多任務學習的方法聯合優化。

10.根據權利要求9所述的一種基于多任務學習的嵌套實體識別系統，其特征在于：在預測階段，為防止錯誤傳播，僅通過實體分類任務進行實體識別，實體確定任務僅用來優化模型參數。