[發(fā)明專利]一種基于集中注意力模型的實體、關(guān)系聯(lián)合學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 201910767329.3
• 申請日: 2019-08-20
• 公開（公告）號: CN110570920B
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計）人: 翟潔;薛魁;張歡歡;葉琪;阮彤;周揚名;馬致遠
• 申請（專利權(quán)）人: 華東理工大學(xué)
• 主分類號: G16H15/00
• 分類號: G16H15/00;G06F40/289
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于集中注意力模型的實體、關(guān)系聯(lián)合學(xué)習(xí)方法，其特征在于，包括以下步驟：

A1，臨床文本序列S的首尾分別加上[CLS]和[SEP]，以[CLS]Sequence[SEP]的形式輸入Embedding層，輸出序列S中每個字的由字編碼、位置編碼、類型編碼組成的初始向量表示H₀，其表示為：

H₀＝LayerNorm(e_word(S)+e_pos(S)+e_type(S))

其中，S為輸入的臨床文本序列，e_word，e_pos，e_type分別表示字編碼、位置編碼、類型編碼函數(shù)；

A2，限定參數(shù)N、K的含義，N為多頭自注意層的層數(shù)，N多頭自注意層分為兩塊，N-K為前一塊的層數(shù)，K為后一塊的層數(shù)，將向量表示H₀輸入多頭注意力機制的前N-K層，注意力均勻地分布在每個字上，多頭注意力只捕獲上下文信息，第m層依據(jù)前一層的輸出H_m-1得到輸出H_m，H_m的表示如下，

H_m＝LayerNorm(H_m’+PosFF(H_m’))

其中H_m’的表示如下，

H_m’＝LayerNorm(H_m-1+MultHeadSelfAttention_h＝12(H_m-1,MASK^all))

其中MASK^all∈{1}^T×T表示每個字利用序列中其他字的信息計算注意力，T表示序列的長度，

經(jīng)過N-K層的迭代后獲得每個字的上下文表示信息H_m；

A3，將每個字的上下文表示信息H_m輸入多頭自注意力機制的余下K層，特定于任務(wù)的矩陣MASK^task將注意力集中到任務(wù)所需的字上，得到對應(yīng)實體識別和關(guān)系抽取任務(wù)的字向量表示

A4，輸入字向量表示利用矩陣MASK^task、實體識別下游任務(wù)層、關(guān)系分類下游任務(wù)層進行聯(lián)合學(xué)習(xí)后，輸出識別的實體信息和抽取的關(guān)系信息。

2.根據(jù)權(quán)利要求1所述的一種基于集中注意力模型的實體、關(guān)系聯(lián)合學(xué)習(xí)方法，其特征在于：在所述步驟A3中，將每個字的上下文表示信息H_m輸入多頭自注意力機制的余下K層，特定于任務(wù)的矩陣MASK^task由動態(tài)范圍注意力機制設(shè)定，MASK^task將注意力集中到任務(wù)所需的字上，第m層依據(jù)前一層的輸出得到輸出的表示如下，

其中task∈{ner,rc}，

經(jīng)過K層的迭代后獲得對應(yīng)任務(wù)的字向量表示