[發明專利]基于隱式句法結構依賴的關系抽取方法以及可讀存儲介質

在審

• 申請號: 202210374608.5
• 申請日: 2022-04-11
• 公開（公告）號: CN114676680A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 王劍;雙鍇;馬利川;譚逸佳
• 申請（專利權）人: 北京合立春天科技發展有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 洛陽公信知識產權事務所(普通合伙) 41120
• 代理人: 逯雪峰

本發明提供一種基于隱式句法結構依賴的關系抽取方法以及可讀存儲介質，本發明的關系抽取方法在不加入任何人為先驗信息的前提下，通過神經網絡自適應地學習輸入文本中單詞之間地依賴，隱式引入句法樹地結構，提高模型對語義的理解能力；而且，本發明使用了Relation?Aware的細粒度注意力機制，對于關系抽取中的每個關系都分配一個向量，與文本中的單詞通過注意力機制生成最后的表征，避免了已有注意力機制對多個關系標簽向量的混淆。

技術領域

本發明涉及自然語言處理領域，具體涉及一種基于隱式句法結構依賴的關系抽取方法以及可讀存儲介質。

背景技術

自然語言中，句子成分之間的關系通常是樹狀的：單詞、短語和從句按層次構成一個句子，不同成分之間的依賴性決定了句子的句法結構。這種復雜的樹狀結構對理解自然語言至關重要。然而，循環神經網絡(RNN)對語言進行了順序建模，未能對層次結構的句法依賴進行全面編碼，導致網絡在基于理解的任務上表現不佳。

此外，隨著網絡信息的飛速增長，關系抽取任務已經逐漸成為自然語言處理領域的關鍵任務之一，關系抽取任務的核心就是根據給定的文本和文本中的兩個實體，得到實體之間的關系，現有關系抽取任務使用的注意力機制使用一個向量來表示所有的關系，這種方式會混淆不同關系的表征，導致準確率較低。

發明內容

有鑒于此，本發明的目的是提供一種基于隱式句法結構依賴的關系抽取方法以及可讀存儲介質，以解決背景技術中提到的技術問題。

為了達到上述目的，本發明所采用的技術方案是：基于隱式句法結構依賴的關系抽取方法，其特征在于，包括以下步驟：

步驟1：使用LSTM神經網絡對輸入的單詞進行編碼，并利用卷積神經網絡對輸入文本中相鄰的單詞之間抽取得到相對句法距離；

步驟2：將相對句法距離與LSTM神經網絡中的門控機制相結合，控制信息在不同時間步中的依賴程度，預訓練得到一個能隱式解析文本語義的RSD—LSTM語言模型；

步驟3：對于經過RSD—LSTM語言模型向量化處理后的文本，使用Reletion-Aware注意力機制來對輸入的文本進行特征抽取，對每一個關系都建立一個特定的向量表征，從而改進已有注意力機制只設置一個關系向量的缺陷；

步驟4：基于文本特征和標注的標簽，進行有監督的訓練，得到關系抽取模型，其中Realtion-Aware注意力機制加權輸出的特征向量作為全連接層的輸入，對全連接層的輸出與每一個關系向量之間做內積，采用Softmax分類器進行關系類別的分類。

進一步的，步驟1在計算相對句法距離時，由卷積神經網絡的卷積層和完全連接層進行計算；

其中，卷積層，在文本序列的垂直方向做卷積，卷積核的寬度固定為詞向量的維度，高度是2，代表只對兩個相鄰的單詞做卷積得到句法距離；依次對每個可能的窗口做卷積操作得到句法距離的集合；

完全連接層，計算抽取到的句法距離與全局語義向量的相似度，將歸一化后的相似度作為兩個相鄰單詞之間的依賴程度。

進一步的，相對句法距離的計算公式為：

D_t＝sigmoid(d_t*E)

其中d_t表示從x_t-1和x_t兩個輸入單詞之間抽取得到的句法距離，E代表全局的語義向量，D_t表示從x_t-1和x_t兩個輸入單詞之間抽取得到的相對句法距離。

進一步的，步驟2具體包括：把兩個相鄰單詞得到的相對句法距離融入到LSTM網絡的遺忘門和輸入門當中，根據句法樹中兩個相鄰單詞之間的語義依賴程度來控制單詞之間信息傳遞的程度，然后預訓練得到一個能隱式解析文本語義的RSD—LSTM語言模型。