[發明專利]一種融合圖卷積與翻譯模型的知識圖譜聯合表示學習方法

有效

• 申請號: 202110430124.3
• 申請日: 2021-04-21
• 公開（公告）號: CN113254663B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 張元鳴;高天宇;肖剛;陸佳煒;程振波
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/33;G06F40/42
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種融合圖卷積與翻譯模型的知識圖譜聯合表示學習方法，其特征在于，所述方法包括以下步驟：

1)構建知識圖譜鄰接矩陣

在知識圖譜中，根據節點之間的鏈接關系定義兩種鄰接關系：

定義1：在知識圖譜中，存在直接鏈接關系的一對節點互為直接鄰接點，此時兩個節點間的距離為1，又稱為1跳鄰接點；

定義2：在知識圖譜中，存在通路的一對節點稱為間接鄰接點，此時兩個節點間的距離為n，n＞1，又稱為n跳鄰接點；

假設一個知識圖譜的節點數量為N，構建其直接鄰接矩陣：

其中若兩個節點為直接鄰接點，則直接鄰接矩陣A中對應位置的值為1，否則為0；

同時，構建該知識圖譜的間接鄰接矩陣：

其中若兩個節點互為間接鄰接點，則間接鄰接矩陣A’中對應位置的值為1，否則為0；

2)基于圖卷積學習知識圖譜的結構信息，過程如下：

2.1)學習實體向量表示

設計圖卷積網絡，包括一個輸入層和兩個隱藏層，每個隱藏層同時學習直接鄰接點和間接鄰接點的信息，以第二個隱藏層的輸出作為實體的向量表示，利用該圖卷積網絡學習知識圖譜的多跳結構信息；

圖卷積網絡的輸入是A和A′，對直接鄰接點和間接鄰接點分別設置不同的權重，實體i在第l層的向量表示為

其中，N_i，1表示節點i∈E的直接鄰接點集合，N_i，2表示節點i∈E的間接鄰接點集合，分別是直接鄰接點和間接鄰接點在第l層的權重矩陣，σ₁表示的是激活函數；μ₁是一個權重系數，用于對直接鄰接點和間接鄰接點的影響力進行平衡；表示的是節點i與其鄰接點j之間的注意力權重；

2.2)學習鄰接點的注意力系數

在圖卷積網絡中引入注意力機制，通過對實體的影響力進行控制，對于越重要的鄰接點其值越大，計算公式為：

其中是注意力系數，反映了在第l層中節點i和節點j之間的相關性；softmax函數歸一化注意力系數將所有系數權重之和設置為1，并更加突出重要元素的權重；

公式(2)中的注意力系數的計算公式如下：

其中sim(·，·)是相似度的函數，用于比較節點i和節點j在經過一次線性變換之后的向量表示的相似度；W₁和W₂分別作為中心實體和其鄰接點的線性變換矩陣，以表征相鄰接點之間的差異；

3)基于翻譯模型學習知識圖譜的關系語義

采用翻譯模型TransE學習知識圖譜的關系語義，將關系看作是頭實體到尾實體的翻譯過程；

3.1)生成負樣本

為增強TransE模型的表征能力，使用負采樣強化訓練效果，負三元組通過隨機負采樣的方式生成，對于每一條正三元組(h，r，t)∈T⁺，分別使用錯誤頭實體h′或錯誤尾實體t′等概率的替換h或者t來生成負三元組集合T^-；其中h′，t′是分別從知識圖譜的所有頭實體集合和尾實體集合中隨機采樣得到的；在生成負三元組之后會對該三元組進行驗證，倘若隨機生成的三元組是正樣本的，即(h′，r，t′)∈T⁺，則重新隨機生成負三元組；

3.2)最小化損失函數

為了強化正三元組在向量空間中的位置，拉開負三元組內實體之間的距離，設計以下基于邊緣的排名損失函數：

其中T⁺表示正三元組的集合，T^-表示負三元組集合；[·]₊＝max(·，0)，γ₁＞0是一個邊緣超參數，μ₂＞0是一個用于平衡負樣本損失和正樣本損失的權重系數；是在TransE中提出的一個三元組的得分函數，用于測量一條三元組的誤差量，其定義如下：

其中，||·||₂表示兩個向量的L₂范數；

通過隨機梯度下降法最小化損失函數的值；

4)聯合表示學習算法

通過圖卷積網絡和翻譯模型對知識圖譜的結構特征和關系語義迭代地進行學習，得到知識圖譜的向量表示；

聯合表示學習算法的輸入為知識圖譜的三元組、鄰接矩陣，聯合表示學習算法的輸出為知識圖譜的向量表示，聯合表示學習算法的過程如下：

4.1)將實體和關系的嵌入隨機初始化；

4.2)在每個隱藏層中，通過公式(2)學習實體之間的注意力系數，然后利用公式(1)分別學習直接鄰接點和間接鄰接點的結構信息，并以設定的權重相互融合作為該實體在下一層的向量表示，圖卷積模型的最后一層作為圖卷積模型的輸出，作為實體的向量表示結果；

4.3)以步驟4.2)的輸出作為翻譯模型TransE的實體的初始向量表示，通過最小化公式(4)的損失值來對實體間的關系語義進行學習，從而得到新的實體和關系的向量表示；

4.4)再以步驟4.3)得到的實體向量表示作為圖卷積模型的實體初始向量表示，反復執行步驟4.2)和步驟4.3)，直至收斂得到最終的實體和關系的向量表示；

4.5)輸出知識圖譜的向量表示。