[發(fā)明專利]一種基于Transformer的實(shí)體關(guān)系聯(lián)合抽取方法、介質(zhì)及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111480107.7
• 申請日: 2021-12-06
• 公開（公告）號(hào): CN114398489A
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 張正;常光輝;黃海輝;胡新庭;陳浪
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識(shí)產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅

1.一種基于Transformer的實(shí)體關(guān)系聯(lián)合抽取方法，其特征在于，包括以下步驟：

獲取互聯(lián)網(wǎng)數(shù)據(jù)集，并對互聯(lián)網(wǎng)數(shù)據(jù)集進(jìn)行如下預(yù)處理，將數(shù)據(jù)集中的句子與對應(yīng)的三元組用預(yù)設(shè)的標(biāo)識(shí)符連接起來，并標(biāo)注主實(shí)體、關(guān)系和副實(shí)體的開始位置和結(jié)束位置，并且涉及到多個(gè)三元組時(shí)需要預(yù)設(shè)的分隔符，同時(shí)訓(xùn)練數(shù)據(jù)需要預(yù)設(shè)的開始和結(jié)束標(biāo)識(shí)符，處理后的數(shù)據(jù)如下；

將處理過后的數(shù)據(jù)集中的每個(gè)字進(jìn)行向量化映射，同時(shí)通過每個(gè)字在句中的位置計(jì)算出位置向量，輸入到基于Transformer的神經(jīng)網(wǎng)絡(luò)模型中，再通過反向傳播算法進(jìn)行訓(xùn)練，得到基于Transformer的實(shí)體關(guān)系聯(lián)合抽取模型；

將需要進(jìn)行實(shí)體關(guān)系抽取的句子輸入到訓(xùn)練完成的基于Transformer的實(shí)體關(guān)系聯(lián)合抽取模型中，預(yù)測出句子中的三元組。

2.根據(jù)權(quán)利要求1所述的一種基于Transformer的實(shí)體關(guān)系聯(lián)合抽取方法，其特征在于，所述基于Transformer的神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

1)將輸入句子中的每個(gè)詞或字映射成對應(yīng)的字向量；

2)在編碼層，把訓(xùn)練樣例中的每個(gè)字對應(yīng)的字向量作為輸入，采用Transformer編碼器學(xué)習(xí)句子中每個(gè)字的上下文信息,同時(shí)得到表示向量H_l；

3)在通過分類器預(yù)測出訓(xùn)練樣例中的主實(shí)體，其中通過二進(jìn)制分類器，分別預(yù)測出訓(xùn)練樣例中每個(gè)主實(shí)體的開始位置p^start和結(jié)束位置p^end，以及主實(shí)體的向量表示

4)在解碼層中，將編碼器輸出的表示向量H_l與二進(jìn)制分類器預(yù)測出的主實(shí)體通過預(yù)設(shè)的方式拼接或者簡單相加，得到新的上下文表示向量M_l，在對M_l進(jìn)行解碼，通過二進(jìn)制分類器分類出副實(shí)體；

5)根據(jù)得到的標(biāo)簽的向量表示進(jìn)行計(jì)算，得到主實(shí)體、關(guān)系和副實(shí)體分別所在的開始位置和結(jié)束位置；

6)選取所有樣本的最大似然函數(shù)作為模型的目標(biāo)函數(shù)；

7)通過反向傳播算法訓(xùn)練模型，更新模型中所有的參數(shù)，最終得到收斂的實(shí)體關(guān)系聯(lián)合抽取模型。

3.根據(jù)權(quán)利要求1或2所述的一種基于Transformer的實(shí)體關(guān)系聯(lián)合抽取方法，其特征在于，所述根據(jù)訓(xùn)練集中的訓(xùn)練樣例和三元組信息，使用特殊的標(biāo)識(shí)符處理，其中，訓(xùn)練樣例需要至少兩種標(biāo)識(shí)符，分別是開始標(biāo)識(shí)符和結(jié)束標(biāo)識(shí)符；該樣例的三元組信息需要至少三種標(biāo)識(shí)符，分別是開始標(biāo)識(shí)符、分隔符和結(jié)束標(biāo)識(shí)符；其中，三元組處理后的數(shù)據(jù)如下：

[SOS]h⁽¹⁾,r⁽¹⁾,t⁽¹⁾[S2S_SEQ]

h⁽²⁾,r⁽²⁾,t⁽²⁾[S2S_SEQ]

...

h⁽ⁿ⁾,r⁽ⁿ⁾,t⁽ⁿ⁾[EOS]

其中h,r,t分別代表主實(shí)體，關(guān)系和副實(shí)體，[SOS],[S2S_SEQ],[EOS]分別表示三元組的開始標(biāo)識(shí)符，三元組分隔符和三元組結(jié)束標(biāo)識(shí)符。

4.根據(jù)權(quán)利要求2所述的一種基于Transformer的實(shí)體關(guān)系聯(lián)合抽取方法，其特征在于，所述1)將輸入句子中的每個(gè)詞或字映射成對應(yīng)的字向量，具體包括：

利用通過word2vec訓(xùn)練得到訓(xùn)練集的字向量表示，將輸入訓(xùn)練樣例中的每個(gè)字映射成對應(yīng)的字向量，選取訓(xùn)練樣例中長度最長的值為max_len,當(dāng)句子長度小于max_len用特殊的占位符補(bǔ)充。