[發明專利]基于多層級注意力機制的模型、事件論元抽取方法及系統

在審

• 申請號: 202210416103.0
• 申請日: 2022-04-20
• 公開（公告）號: CN114880427A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 吳昆;丁國棟
• 申請（專利權）人: 邁容智能科技（上海）有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/35;G06F40/30;G06K9/62;G06F17/16
• 代理公司: 上海諾衣知識產權代理事務所(普通合伙) 31298
• 代理人: 劉艷芝

1.一種多層級注意力機制的模型構建方法，其特征在于：首先，構建事件類型-論元角色層級關系、論元角色-論元角色層級關系，并且分別使用二維矩陣進行表示；然后，將預先獲得的文本表征和事件類型-事件論元層級關系矩陣輸入事件類型-事件論元注意力模塊，計算事件類型-論元角色層級注意力特征；將預先獲得的文本表征和事件論元-事件論元層級關系矩陣輸入事件論元-事件論元注意力模塊，計算論元角色-論元角色層級注意力特征；最后，將事件類型-論元角色層級注意力特征和論元角色-論元角色層級注意力特征作為該模型的輸出。

2.根據權利要求1所述的多層級注意力機制的模型構建方法，其特征在于：計算事件類型-論元角色層級注意力特征的具體過程如下：

依據官方事件模板，分析事件類型與論元角色之間的所屬關系并且使用二維矩陣表示，事件模板在定義事件時給出了特定類型事件包含的論元，以事件類型作為橫坐標，論元角色作為縱坐標構建二維關系矩陣，若某一事件包含某一論元，則在二維矩陣中將其值置為1，否則置為0。

3.根據權利要求1所述的多層級注意力機制的模型構建方法，其特征在于：計算論元角色-論元角色層級注意力特征的具體過程如下：

分析論元角色彼此之間的依賴關系并且使用二維矩陣表示，將論元角色包含的值屬性抽象成上層概念，表達論元角色某一維度的屬性，以論元角色類型作為橫坐標，上層概念類型作為縱坐標構建二維關系矩陣，若某一論元擁有某一屬性，則在二維矩陣中將其值置為1，否則置為0。

4.根據權利要求1所述的多層級注意力機制的模型構建方法，其特征在于：所述文本表征通過應用預訓練語言模型對原始數據集中的文本進行編碼獲取。

5.一種基于多層級注意力機制的事件論元抽取方法，其特征在于：包括如下步驟：

步驟1、預處理包含事件類型以及描述該事件的輸入文本，使用預訓練語言模型對數據集中的文本進行編碼，得到模型的初始文本表征；

步驟2、將步驟1中的事件類型輸入權利要求1至4中任一項所述多層級注意力機制的模型，獲取事件類型-論元角色層級注意力特征和論元角色-論元角色層級注意力特征；

步驟3、將步驟1中得到的文本表征輸入雙仿射層，與事件類型-論元角色層級注意力特征和論元角色-論元角色層級注意力特征進行融合，獲取最終的融合分類特征；

步驟4、將融合分類特征作為最終分類層的輸入，采用0/1標注格式對每個角色類型的事件論元的首尾索引進行預測，迭代訓練，獲取最優模型。

6.根據權利要求5所述的基于多層級注意力機制的事件論元抽取方法，其特征在于：所述步驟1的具體過程如下：

劃分訓練集和測試集，將文檔中的長文檔分隔為固定長度為200個字的句子集合，其中一個句子對應數據集中的一條樣本，使用預訓練語言模型BERT進行詞嵌入表示得到初始文本表征h。