[發明專利]一種基于自然語言推理的關系抽取模型的生成方法

有效

• 申請號: 202110429116.7
• 申請日: 2021-04-21
• 公開（公告）號: CN112966527B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 彭濤;胡文斐;孫雨鵬;吳禹;張睿鑫;劉志成
• 申請（專利權）人: 吉林大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/295;G06N3/04;G06N5/04
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 曹書華

1.一種基于自然語言推理的關系抽取模型的生成方法，其特征在于，包括：

1)描述層DescriptionLayer：該層模型結構的最底層，通過向輸入中注入額外的知識來增強模型，每個關系都有一個模板描述，使用關系描述模板將一個目標句子映射到r個前提假設句子對，r為關系類型總數；其中原始目標句子被視為前提，而關系描述則被視為假設；

2)編碼器層EncoderLayer：該層對應模型結構中Encoder and InferenceLayer的一部分，在描述層之后，在編碼器層將前提假設句子對中的每個詞轉換為固定長度的向量，以獲得每個前提假設句子對的向量表示，所有的r個前提假設對將被分別編碼；

3)推理層InferenceLayer：該層對應模型結構中Encoder and InferenceLayer的一部分，使用編碼器層生成的句子表示句子向量表示，推理層根據前提推斷假設是否成立，對于每個前提假設句子對，此層都會生成類別entailment和not_entailment的置信度得分；

4)分類層ClassificationLayer：本層對應模型結構的最上層，分類層可以利用每個關系對應前提假設對的置信度得分，通過選擇置信度最高的關系來給出目標句子表達哪種關系的預測；

在DescriptionLayer中構造關系描述模板，對于每種關系類型，都有一個關系描述模板，關系描述表示相應關系的含義以注入先驗知識，包括以下步驟：

將目標句子與關系描述相結合以形成前提假設對，為了將實體信息并入目標句子中，每個關系描述模板具有一個插槽對(s₁,s₂)，與針對目標句子執行的操作相同，還在兩個位置附近添加了實體標記以強調實體信息，通過將目標句子P中的實體對(e₁,e₂)填充到(s₁,s₂)中，可以從模板生成假設列表H₁,...,H_r，其中r是關系類型的數量，H₁,...,H_r表示關系1,...,r的假設，對于每個關系，將前提P與相應的假設結合起來，以獲得所有的前提假設對{(P,H₁),...,(P,H_r)}，前提假設對的數量與關系類型的數量r一致；

模型中基于關系描述中包含的先驗知識和常識，推斷目標句子與關系描述之間的關系，從而獲得前提假設對是否成立的置信度，包括以下步驟：

在的推理層中，模型首先通過編碼層獲得P和H的表示，然后通過注意力機制構造工作內存，答案模塊將使用基于工作記憶的多步推理策略來計算P和H之間的置信度得分，將編碼器層的輸出上下文表示h^P作為前提的工作記憶，并且類似的將作為假設的工作記憶，基于工作記憶將假設的初始狀態表示為s₀，使用中每個向量的加權和作為s₀，以有選擇地融合信息和過濾噪聲；

其中ω^H是訓練期間學習的參數，對于每個推理步驟t∈{0，1，...,T-1}，使用前提P的工作內存h^p來計算前提x_t的狀態，根據前提條件在上一個推斷步驟t-1中的狀態s_t-1，模型通過前提工作存儲器中所有矢量的加權和獲得結果；

β＝softmax(s_t-1ω^Ph^P) (3)

x_t＝βh^P (4)

其中ω^P是訓練期間學習的參數，在每個推理步驟中，使用前一步假設的狀態s_t-1和前提的狀態x_t，通過門循環單元GRU逐步完善假設狀態；

s_t＝GRU(s_t-1,x_t) (5)

在推理步驟t中計算關系預測中的兩個元素分別表示entailment和not_entailment的置信度得分，這表明根據前提，假設是否成立，是使用s_t、x_t、以及它們的差與和按元素乘積組合而成的；

其中W₁和b₁是訓練期間學習的參數，對每個推理步驟t中的進行平均，以獲得輸出預測P^T，所有的聚合可以充分利用推斷信息并提高魯棒性；

模型構造了分類層，以在訓練時同時實現粗粒度的多分類損失和細粒度的二分類損失，在分類層計算多分類損失，并與推理層的二分類損失相結合，作為最終的損失函數，包括如下步驟：

在推理層之后，對于所有關系r和對應的(P，H_r)，將其輸出預測拼接，以形式化最終預測；

p＝[p¹,...,p^r] (8)

對于所有前提假設對{(P,H₁),...,(P,H_r)}，在p_entailment中獲得entailment類的置信度得分，以及相似地，在p_{not_entailment}中獲得not_entailment類的置信度得分，p_entailment/p_{not_entailment}中的高分表示目標句子P表達/不表達對應的關系r，使用差p_diff來表示每個關系的置信度得分，然后在p_diff上應用完整的連接層，使用skip connect防止模型降級，將softmax應用于p_diff以輸出在給定前提條件下關系類別的條件概率分布

p_diff＝p_entailment-p_{not_entailment} (9)

其中W₂和b₂是訓練期間學習的參數，是預測的關系類，在訓練過程中，最小化的損失函數是推理損失和分類損失的組合，對于推理損失，在推理層中將每個前提假設對分類為(entailment，not_entailment)，在前提假設對上計算二進制交叉熵，記為L_l，對于分類損失，得到了分類層中每個關系的目標句子的預測，關系類上的分類損失記為L_C，可以通過將兩個損失按權重相加在一起來獲得最終損失函數L；

L＝λ₁L_l+λ₂L_C (11)。