[發明專利]一種面向句子級別的關系抽取方法、設備及存儲介質

在審

• 申請號: 202210288286.2
• 申請日: 2022-03-23
• 公開（公告）號: CN114692637A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 范垂欽;王家兵
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/211;G06F40/30;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

本發明公開了一種面向句子級別的關系抽取方法、設備及存儲介質，包括獲得一個句子，在每個實體的兩端分別插入特殊標記，輸入預訓練語言模型得到該句子每個詞的詞向量；使用隨機初始化的多個關系向量分別對每個詞向量計算相關度，進一步計算二分類損失；使用平均池化計算句子向量、實體向量，使用最大池化計算關系向量，將這些特殊輸入多分類器得到多分類損失；將句子中的實體一定概率掩藏得到另外一個句子，衡量兩個句子輸出分布的一致性損失；對上述步驟中的所有損失聯合訓練。本發明能夠有效抽取文本中的關鍵信息，捕捉文本中實體的聯系，從而達到良好的關系抽取性能。

技術領域

本發明涉及自然語言處理領域，具體涉及一種面向句子級別的關系抽取方法、設備及存儲介質。

背景技術

近年來，人工智能已經成為新一輪科技革命和產業變革的重要驅動力量，而自然語言處理(NLP)作為人工智能的一個重要研究方向，是實現人工智能從感知到認知的關鍵。關系抽取是自然語言處理領域中一個核心任務，主要實現對文本中實體對之間表達的語義關系的抽取和識別，同時也是構建知識圖譜的基礎，被廣泛應用于信息檢索，機器閱讀理解、人機對話、個性化推薦、智能搜索等領域，隨著深度學習在人工智能領域的廣泛應用，研究結果已經表明深度學習利用大量數據能捕獲到有效的特征信息，許多研究人員也將深度學習技術應用于關系抽取，并且相比于傳統手工抽取特征的方法取得了明顯的進展。

由于文本表達的多樣性，關系抽取是一個復雜且難以解決的任務，對實體對之間的關系抽取很大程度依賴于模型對文本中語義的理解能力，這在自然語言處理中也極具挑戰。隨著深度學習的發展，目前基于深度學習方法的關系抽取可以分為兩類：一類是基于卷積神經網絡和循環神經網絡等傳統神經網絡的模型，受限于模型規模和訓練數據難以獲取，這類模型只能取得有限的效果；另一類則是基于預訓練語言模型(如BERT，GPT)的關系抽取模型，預訓練模型最早是在圖像領域被提出的，利用大量訓練數據學習得到豐富的知識，再結合遷移學習遷移到其他神經網絡以得到更好的效果。大量實驗結果表明預訓練語言模型已經在許多自然語言處理任務上領先于傳統神經網絡。

盡管國內外已經有許多研究人員基于預訓練語言模型完成關系抽取這個任務，但是根據一些實驗結果表明，預訓練語言模型仍然存在改進空間，并且仍然存在很多潛力有待挖掘。在關系抽取甚至整個自然語言處理領域中，已經存在大量對詞向量的研究，毋庸置疑，詞向量的質量關乎模型性能表現，然而標簽(關系)中豐富的語義信息卻鮮有人發掘利用。

發明內容

為了克服現有技術存在的缺點與不足，本發明提供一種面向句子級別的關系抽取方法、設備及存儲介質，具體涉及基于關系嵌入的注意力機制的關系抽取方法。本發明利用關系中豐富語義信息加強對文本中關鍵信息的提取，從而實現更好關系抽取性能。

本發明采用如下技術方案：

一種面向句子級別的關系抽取方法，包括如下：

獲得一個句子，所述一個句子包括兩個實體，在每個實體的兩端分別插入特殊標記，輸入預訓練語言模型得到該句子每個詞的詞向量；

使用隨機初始化得到關系嵌入，分別與每個詞的詞向量采用點積注意力機制得到其相關程度，進一步得到句子的注意力表示集合，將該集合中的每個向量輸入二分類器得到預測結果，計算二分類損失；

基于注意力表示集合利用最大池化計算得到關系向量，利用平均池化得到句子向量，兩個實體向量，將上述四個向量進行拼接輸入多分類器獲得多分類損失；

將句子中的兩個實體按照預先設定概率進行掩藏，獲得另外一個句子S’；對另外一個句子重復上述步驟獲得二元損失和多元損失，進一步獲得兩個句子預測結果的一致性損失；

對二元損失、多元損失、一致性損失進行聯合訓練，當損失最小值時獲得關系抽取模型。

進一步，所述獲得一個句子，所述一個句子包括兩個實體，在每個實體的兩端分別插入特殊標記，具體為：