[發明專利]一種融合實體類型的關系三元組抽取方法

有效

• 申請號: 202210026447.0
• 申請日: 2022-01-11
• 公開（公告）號: CN114444506B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 彭德中;陳付旻;呂建成;彭璽;桑永勝;胡鵬;孫亞楠;王旭;陳杰;王騫
• 申請（專利權）人: 四川大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06N3/0475
• 代理公司: 北京盛凡佳華專利代理事務所(普通合伙) 11947
• 代理人: 陳文麗

本發明公開了一種融合實體類型的關系三元組抽取方法，包括以下步驟：收集文本數據作為訓練樣本；對收集的訓練樣本數據進行清洗獲得數據集；切分數據集并將其按照一定比例劃分為訓練集、驗證集與測試集；搭建基于BERT預訓練模型的深度學習網絡并加載預訓練參數獲得訓練樣本深度表達；在模型后搭建Fast?Gradient?Method對抗網絡提升模型的魯棒和泛化性能；搭建多頭注意力機制與深度神經網絡的關系三元組提取模型；進行模型的訓練與測試，對驗證集采用K折交叉驗證的方法保存K折模型，綜合K折模型對測試集進行測試，將平均概率作為模型的測試結果；輸出模型AttnFGM?MARE。

技術領域

本發明涉及自然語言處理技術領域，特別涉及一種融合實體類型的關系三元組智能抽取方法。

背景技術

關系抽取通常以三元組的形式組織和呈現，這些結構化的知識為諸多下游任務賦能，例如：信息抽取、知識圖譜、搜索引擎、問答任務，具體而言，關系抽取的任務包括在文本中識別頭實體和尾實體并為實體間的關系進行分類。目前關系三元組抽取通常使用神經網絡的方法，并且受預訓練語言模型技術快速發展的啟發，關系抽取使用預訓練模型利用大規模無標記數據進行無監督學習來得到文本的深度表達，此類方法較依賴于頭實體的深度表示，頭實體的深度表達影響到下游任務中尾實體和關系類型的抽取效果，但此類方法對頭實體的特征表達能力有限，未考慮到頭實體的類型信息對尾實體和關系抽取的提升效果，同時此類模型也存在魯棒性能低、泛化能力弱等問題。

發明內容

本發明要解決的技術問題在于提供一種融合實體類型的關系三元祖抽取方法，該抽取方法使用多頭注意力機制融合頭實體類型特征，通過深度神經網絡(DNN)來獲得關系三元組，提升了模型魯棒性能和泛化性能，

為了解決上述技術問題，本發明通過以下方式來實現：

一種融合實體類型的關系三元組抽取方法，具體包括以下步驟：

1)收集文本數據作為訓練樣本；

2)對步驟1)中收集的訓練樣本數據進行清洗，形成數據集；

3)切分步驟2)形成的數據集，將數據集按照7:2:1的比例劃分為訓練集、驗證集和測試集；

4)搭建基于BERT預訓練模型的深度學習網絡，并加載預訓練參數獲得訓練集數據的深度表達；

5)在BERT預訓練模型后搭建Fast?Gradient?Method對抗神經網絡模型，用于提升模型的魯棒性能和泛化性能；

6)利用頭實體提取模塊DNN進行頭實體的預測；

7)將步驟6)預測的頭實體中提取頭實體特征，并利用多頭注意力機制及深度神經網絡的關系三元組提取模型；

8)利用關系、尾實體提取模塊DNN進行關系、尾實體的預測；

9)進行模型訓練，對步驟3)中的驗證集采用K折交叉驗證的方法保存K折模型，并利用K折模型對測試集進行測試，將平均概率作為模型的測試結果；輸出模型AttnFGM-MARE。

進一步的，步驟4)中所述的BERT預訓練模型依次設置有位置嵌入層、句法嵌入層和token嵌入層，后連接接有E_[cls]層、全連接層和T_[cls]層，且深度表達式如下所示：

H＝BERT(S)??(1)

其中，S為訓練集文本數據，H為經過BERT預訓練模型后S的隱狀態的深度表達。

步驟5)中搭建的Fast?Gradient?Method對抗神經網絡模型的表達式如下所示：

r_adv＝∈·g/||g||₂??(3)