[發(fā)明專利]基于依賴關系圖的關系推理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110205890.X
• 申請日: 2021-02-24
• 公開（公告）號: CN112818678B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設計）人: 張月國;蔣興健;董莉莉
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/30;G06F16/901;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發(fā)明提供了一種基于依賴關系圖的關系推理方法及系統(tǒng)，利用詞義特征對給定句對進行詞語劃分和詞語特征構造；通過依賴提取器獲得從詞語劃分后的文本中提取出詞語之間的依賴關系樹；將依賴關系作為詞語特征更新的依據(jù)，結合深度學習網(wǎng)絡，對給定句對中詞語特征進行學習和更新；將的給定句對獲得的多個更新后的詞語特征作為局部特征，進行特征的融合獲得全局特征；將全局特征作為句義特征，進行兩句間的交互，輸入到輸出層中獲得輸出，將輸出與真實標簽進行比較，進行學習模型的損失函數(shù)的計算；根據(jù)學習模型的損失函數(shù)計算結果，對學習模型進行修正，確定學習模型對應的目標參數(shù)。有效提升句法依賴樹在自然語言推理上的表現(xiàn)。

技術領域

本發(fā)明涉及計算機領域，具體地，涉及一種基于依賴關系圖的關系推理方法及系統(tǒng)。

背景技術

隨著深度學習模型的不斷發(fā)展，自然語言推理任務的主要趨勢成為了使用更復雜的網(wǎng)絡模型獲取句子的語義信息，并以此來確定它們之間的關系。但在傳統(tǒng)的網(wǎng)絡中，位置信息來源于長短期網(wǎng)絡對結構的直接抓取，其只能獲取到空間上的位置信息，無法捕獲深層的句義上的相對位置信息。而直接在句法依賴樹上進行操作的深度學習網(wǎng)絡通常基于復雜的樹神經(jīng)網(wǎng)絡，其訓練過程緩慢，且通常無法結合子節(jié)點以外的信息。

因此，現(xiàn)有專利文獻CN109902301A的中國專利，公開了基于深度神經(jīng)網(wǎng)絡的關系推理方法，這種方法中使用的基于語法依賴樹的特征，只利用了其中的路徑上的依賴特征，沒有有效的結合語法依賴樹中的依賴關系類型，提取特征不充分，不具體。雖然使用了LSTM和CNN來捕捉路徑上特征，但是無法捕獲其中的一部分路徑外信息，不夠準確。

發(fā)明內(nèi)容

針對現(xiàn)有技術中的缺陷，本發(fā)明的目的是提供一種基于依賴關系圖的關系推理方法及系統(tǒng)。

根據(jù)本發(fā)明提供的一種基于依賴關系圖的關系推理方法，包括：

劃分構造步驟：獲取給定句對，利用詞義特征對所述給定句對進行詞語劃分和詞語特征構造；

依賴提取步驟：通過依賴提取器獲得從詞語劃分后的文本中提取出詞語之間的依賴關系樹；

特征更新步驟：將所述依賴關系樹中的依賴關系作為詞語特征更新的依據(jù)，結合深度學習網(wǎng)絡，對所述給定句對中詞語特征進行學習和更新；

特征融合步驟：將所述的給定句對獲得的多個更新后的詞語特征作為局部特征，進行特征的融合，獲得全局特征；

損失函數(shù)計算步驟：將所述全局特征作為句義特征，進行句對間的交互，輸入到深度學習網(wǎng)絡的輸出層中獲得輸出，將輸出與真實標簽進行比較，進行學習模型的損失函數(shù)的計算；

學習模型修正步驟：根據(jù)所述學習模型的損失函數(shù)計算結果，對所述學習模型進行修正，確定所述學習模型對應的目標參數(shù)。

優(yōu)選地，所述特征更新步驟包括：

對依賴關系樹中的每個三元組進行編碼，所述三元組包括頭詞語、尾詞語和依賴關系；

根據(jù)依賴關系，使用依賴關系矩陣處理頭詞語和尾詞語，得到關系三元組；

將處理后得到的關系三元組聚合回頭詞語和尾詞語中。

優(yōu)選地，所述關系三元組中的頭詞語對應依賴關系樹中的頭節(jié)點，尾詞語對應依賴關系樹中的尾節(jié)點，依賴關系對應依賴關系樹中的不同關系，使用一個序號標示，序號為對應關系在關系字典中的序號。

優(yōu)選地，使用全連接層線性映射編碼頭詞語和尾詞語的順序。

優(yōu)選地，通過消息傳遞的過程，來完成關系三元組的聚合過程：

xi＝γ(xi,Σl)

其中xi表示第i個節(jié)點，γ表示的是聚合操作，Σ表示的是聚合與i節(jié)點有關的所有三元組的操作，l是三元組的信息。