[發明專利]基于隱式句法結構依賴的關系抽取方法以及可讀存儲介質

在審

• 申請號: 202210374608.5
• 申請日: 2022-04-11
• 公開（公告）號: CN114676680A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 王劍;雙鍇;馬利川;譚逸佳
• 申請（專利權）人: 北京合立春天科技發展有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 洛陽公信知識產權事務所(普通合伙) 41120
• 代理人: 逯雪峰

1.基于隱式句法結構依賴的關系抽取方法，其特征在于，包括以下步驟：

步驟1：使用LSTM神經網絡對輸入的單詞進行編碼，并利用卷積神經網絡對輸入文本中相鄰的單詞之間抽取得到相對句法距離；

步驟2：將相對句法距離與LSTM神經網絡中的門控機制相結合，控制信息在不同時間步中的依賴程度，預訓練得到一個能隱式解析文本語義的RSD—LSTM語言模型；

步驟3：對于經過RSD—LSTM語言模型向量化處理后的文本，使用Reletion-Aware注意力機制來對輸入的文本進行特征抽取，對每一個關系都建立一個特定的向量表征；

步驟4：基于文本特征和標注的標簽，進行有監督的訓練，得到關系抽取模型，其中Realtion-Aware注意力機制加權輸出的特征向量作為全連接層的輸入，對全連接層的輸出與每一個關系向量之間做內積，采用Softmax分類器進行關系類別的分類。

2.根據權利要求1所述的基于隱式句法結構依賴的關系抽取方法，其特征在于，步驟1在計算相對句法距離時，由卷積神經網絡的卷積層和完全連接層進行計算；

其中，卷積層，在文本序列的垂直方向做卷積，卷積核的寬度固定為詞向量的維度，高度是2，代表只對兩個相鄰的單詞做卷積得到句法距離；依次對每個可能的窗口做卷積操作得到句法距離的集合；

完全連接層，計算抽取到的句法距離與全局語義向量的相似度，將歸一化后的相似度作為兩個相鄰單詞之間的依賴程度。

3.根據權利要求2所述的基于隱式句法結構依賴的關系抽取方法，其特征在于，相對句法距離的計算公式為：

D_t＝sigmoid(d_t*E)

其中d_t表示從x_t-1和x_t兩個輸入單詞之間抽取得到的句法距離，E代表全局的語義向量，D_t表示從x_t-1和x_t兩個輸入單詞之間抽取得到的相對句法距離。

4.根據權利要求1所述的基于隱式句法結構依賴的關系抽取方法，其特征在于，步驟2具體包括：把兩個相鄰單詞得到的相對句法距離融入到LSTM網絡的遺忘門和輸入門當中，根據句法樹中兩個相鄰單詞之間的語義依賴程度來控制單詞之間信息傳遞的程度，然后預訓練得到一個能隱式解析文本語義的RSD—LSTM語言模型。

5.根據權利要求1所述的基于隱式句法結構依賴的關系抽取方法，其特征在于，步驟3中，所述的Reletion-Aware注意力機制在對輸入的文本進行處理時，賦予每個類別標簽一個特定的向量，通過標簽向量計算句子中每個單詞對應的注意力權重，加權生成文本表征，對于每一個標簽都采用該注意力機制進行計算，最后得到K個不同的文本表征，對應K個關系類別。

6.根據權利要求5所述的基于隱式句法結構依賴的關系抽取方法，其特征在于，所述注意力權重的計算公式為：

其中d_k代表第k個關系標簽，e_i代表輸入文本中的第i個單詞。

7.可讀存儲介質，其存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1至6任意一項所述方法的步驟。