[發明專利]一種融合實體類型的關系三元組抽取方法

有效

• 申請號: 202210026447.0
• 申請日: 2022-01-11
• 公開（公告）號: CN114444506B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 彭德中;陳付旻;呂建成;彭璽;桑永勝;胡鵬;孫亞楠;王旭;陳杰;王騫
• 申請（專利權）人: 四川大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06N3/0475
• 代理公司: 北京盛凡佳華專利代理事務所(普通合伙) 11947
• 代理人: 陳文麗

1.一種融合實體類型的關系三元組抽取方法，其特征在于：具體包括以下步驟：

1)收集文本數據作為訓練樣本；

2)對步驟1)中收集的訓練樣本數據進行清洗，形成數據集；

3)切分步驟2)形成的數據集，將數據集按照7:2:1的比例劃分為訓練集、驗證集和測試集；

4)搭建基于BERT預訓練模型的深度學習網絡，并加載預訓練參數獲得訓練集數據的深度表達；

5)在BERT預訓練模型后搭建Fast?Gradient?Method對抗神經網絡模型，用于提升模型的魯棒性能和泛化性能；

6)利用頭實體提取模塊DNN進行頭實體的預測；

7)將步驟6)預測的頭實體中提取頭實體特征，并利用多頭注意力機制得到深度神經網絡的關系三元組提取模型；

8)利用關系、尾實體提取模塊DNN進行關系、尾實體的預測；

9)進行模型訓練，對步驟3)中的驗證集采用K折交叉驗證的方法保存K折模型，并利用K折模型對測試集進行測試，將平均概率作為模型的測試結果；

所述步驟6)頭實體提取模塊連接在Fast?Gradient?Method對抗神經網絡模型，分別對頭實體開始全連接層和頭實體結束全連接層進行頭實體開始位置和頭實體結束位置的預測；

其中，x_i為文本中第i個字符的深度表示，W_s、W_e、b_s、b_e代表深度神經網絡的可訓練參數，σ代表sigmoid激活函數，代表第i個字符為頭實體開始字符的概率，代表第i個字符為頭實體結束字符的概率。

2.如權利要求1所述的一種融合實體類型的關系三元組抽取方法，其特征在于：

所述步驟4)中的BERT預訓練模型依次設置有位置嵌入層、句法嵌入層和token嵌入層，后連接接有E_[cls]層、全連接層和T_[cls]層，且深度表達式如下所示：

H＝BWRT(S)??(1)

其中，S為訓練集文本數據，H為經過BERT預訓練模型后S的隱狀態的深度表達。

3.如權利要求1所述的一種融合實體類型的關系三元組抽取方法，其特征在于：

所述步驟5)中搭建的FastGradient?Method對抗神經網絡模型的表達式如下所示：

r_adv＝∈·g/||g||₂??(3)

x_adv＝x+r_adv??(4)

其中，g代表經過梯度更新后的損失函數，θ代表對抗神經網絡的參數，x代表模型的輸入，y代表與輸入x對應的標簽，L代表訓練神經網絡的損失函數，代表神經網絡的梯度表示，∈代表對抗網絡的超參數，x_adv代表添加對抗擾動后的模型輸入，r_adv代表添加對抗擾動的程度。

4.如權利要求1所述的一種融合實體類型的關系三元組抽取方法，其特征在于：

所述步驟7)利用多頭注意力機制獲取頭實體類型表示特征，并利用特征融合的方式將頭實體特征、頭實體類型表示特征和上下文表示特征進行融合，得到深度神經網絡的關系三元組提取模型；多頭注意力機制的表達式如下所示：

MultiHead(Q，K，V)＝Concat(head₁，head₂，...，head_h)W^O??(9)

其中，Q、K、V代表由輸入特征經過線性變化得到的向量，d_k代表控制方差的參數，head_i代表在多頭注意力機制模型中第i個注意力機制模塊的輸出，W_i^Q、W_i^K、W_i^V、W⁰代表深度神經網絡的可訓練參數。

5.如權利要求1所述的一種融合實體類型的關系三元組抽取方法，其特征在于：

所述步驟8)中關系、尾實體預測的具體是：根據步驟7)中特征融合后的關系、尾實體開始全連接層和關系、尾實體結束全連接層，進行關系、尾實體開始位置和結束位置預測；

其中，代表深度神經網絡的可訓練參數，σ代表sigmoid激活函數，代表第k個頭實體的深度表示，代表第k個頭實體的類型深度表示，代表在給定關系r的條件下，第i個字符為尾實體開始字符的概率，代表在給定關系r的條件下，第i個字符為尾實體結束字符的概率。