[發明專利]一種開放域語料關系聯合抽取方法

在審

• 申請號: 202210984004.2
• 申請日: 2022-08-17
• 公開（公告）號: CN115310454A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 馬穎憶;劉志峰;葛少峰;張啟菊;王海英
• 申請（專利權）人: 金陵科技學院
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

一種開放域語料關系聯合抽取方法，包括以下步驟：S1、提取語料中字符的特征向量；S2、在圖注意力網絡中進行特征融合；S3、將語料中的關系短語進行抽取；S4、將語料中的實體對短語進行抽取；S5、根據步驟S3抽取的關系短語以及步驟S4抽取對應的實體對短語，將其組成三元組，并確定該三元組的置信度，若置信度大于或等于設定置信度閾值時，則將該三元組作為輸入語料的開放域關系三元組。通過上述方案實現針對開放域關系抽取普遍存在的關系三元組序列冗余、關系三元組重疊、關系三元組抽取準確率低等問題。

技術領域

本發明涉及自然語言處理技術領域，特別涉及一種開放域語料關系聯合抽取方法。

背景技術

隨著互聯網技術的快速發展，信息技術產生海量無結構化數據，信息抽取技術已經被廣泛應用于從無結構化數據中抽取出結構化且有用的數據信息。與傳統的信息抽取技術不同，開放域關系抽取不需要定義關系類型，此外，不受特定領域數據集的限制，可以從非結構化數據中抽取出關系三元組，較好地應用于數據轉變、場景切換等情況下的信息抽取。隨著研究的深入，基于深度學習的開放域關系抽取技術逐漸成為主流趨勢。

目前，基于深度學習的開放域關系抽取技術主要采用序列標注的方法、抽取式或生成式的方法，這些方法技術把抽取關系三元組的過程分為兩個步驟，首先抽取語料中的關系短語，再根據抽取的關系短語結果，抽取可能對應的實體對短語。傳統的開放域關系抽取方法主要存在三個問題：(1)主觀地將實體對短語的抽取、關系短語的抽取劃分為兩個子任務，忽視了兩者之間的內在語義聯系及語法結構上的依存關系，容易產生誤差傳播，導致開放域關系抽取結果準確率不高；(2)忽略實體短語存在于多個關系三元組中的實體短語重疊等問題，導致開放域關系抽取結果語義不充分，影響抽取準確率；(3)未充分考慮語料中語句詞之間的依賴關系，部分關系三元組序列冗余，導致誤差積累，影響開放域關系抽取的準確率與效率。

針對上述傳統開放域關系抽取技術存在的問題，本發明創新性地提出一種基于多鏈路圖注意力網絡的開放域關系聯合抽取方法，采用實體對短語和關系短語聯合學習的方式，實現開放域關系三元組的聯合抽取；此外，采用圖注意力網絡融合語料中語句字符級的依賴關系，通過多鏈路解碼三元組的機制，解決關系三元組冗余過長等問題。

發明內容

本發明針對現有技術中的不足，提供一種開放域語料關系聯合抽取方法；針對開放域關系抽取普遍存在的關系三元組序列冗余、關系三元組重疊、關系三元組抽取準確率低等問題。

為實現上述目的，本發明采用以下技術方案：

一種開放域語料關系聯合抽取方法，包括以下步驟：

S1、提取語料中字符的特征向量：將語料輸入至BERT預訓練語言模型中對語料進行編碼，并得到語料中字符的特征向量；

S2、在圖注意力網絡中進行特征融合：基于圖注意力網絡將字符的特征向量中所包含的特征進行融合，并學習字符間的依賴關系；

S3、將語料中的關系短語進行抽取：通過設計關系短語序列標注模型抽取語料中存在的關系短語，其中關系短語的含義為語料句子中的謂語部分；

S4、將語料中的實體對短語進行抽取：由于關系短語的含義為語料句子中的謂語部分，因此每個關系短語都有對應的實體對短語，其中實體對短語包括首實體短語和尾實體短語，首實體短語的含義為語料句子中的主語，尾實體短語的含義為語料句子中的賓語；根據步驟S2的字符間依賴關系以及通過基于圖注意力網絡預測每個關系短語所對應的實體對短語，并進行抽取；

S5、根據步驟S3抽取的關系短語以及步驟S4抽取對應的實體對短語，將其組成三元組，并確定該三元組的置信度，若置信度大于或等于設定置信度閾值時，則將該三元組作為輸入語料的開放域關系三元組。

為優化上述技術方案，采取的具體措施還包括：

進一步地，步驟S2中所述學習字符間的依賴關系的具體計算公式為：