[發(fā)明專利]一種動態(tài)環(huán)境下的知識圖譜表示學習方法

在審

• 申請?zhí)枺?/td>: 202010972901.2
• 申請日: 2020-09-16
• 公開（公告）號: CN112131403A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設計）人: 李丞;吳天星;漆桂林
• 申請（專利權）人: 東南大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N20/00
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種動態(tài)環(huán)境下的知識圖譜表示學習方法，其特征在于，該方法包括如下步驟：

步驟1)在初始時刻τ，對于知識圖譜G^τ使用一個基于上下文信息的表示學習模型進行知識圖譜的表示學習訓練，得到知識圖譜中所有實體和關系的向量表示；

步驟2)在τ+1時刻，知識圖譜發(fā)生更新變?yōu)镚^τ+1，此時基于τ時刻的知識圖譜G^τ中實體和關系的向量表示，利用增量式表示學習算法，訓練得到知識圖譜G^τ+1中實體和關系的新的向量表示；

步驟3)對于后續(xù)τ+2，τ+3…等時刻，均基于上一個時刻的知識圖譜中實體和關系的向量表示，利用增量式表示學習算法，訓練得到此時刻知識圖譜中實體和關系的新的向量表示。

2.根據權利要求書1所述的動態(tài)環(huán)境下的知識圖譜表示學習方法，其特征在于，所述步驟1)中的基于上下文信息的表示學習模型的前向傳播公式為如下5個公式：

其中，A是知識圖譜中給定實體(或關系)的鄰居實體(或關系)構成的子圖對應的鄰接矩陣，I是單位矩陣，是的對角度矩陣；H⁽⁰⁾是隨機初始化的節(jié)點(實體或關系)特征矩陣，H⁽⁰⁾中的每一行記為v_i，是節(jié)點(實體或關系)隨機初始化的一個向量表示，后續(xù)統一稱之為實體或關系的上下文角色向量；H^(l)和H^(l-1)分別是第l層和第l-1層的節(jié)點特征矩陣，H^(l)基于公式(1)由H^(l-1)計算得到；W^(l)是第l層的權重參數矩陣。ReLU(·)＝max(0，·)是激活函數；

score(v_i,o^k)＝u^TReLU(v_i⊙o^k)#(2)

其中v_i是公式(1)的輸出H^(l)中的一行，o^k是給定節(jié)點o(實體或關系)的向量表示。u是注意力層的參數向量，⊙代表逐元素乘，是激活函數，score(v_i,o^k)刻畫了v_i和o^k之間的相關性；α_i(o)代表每個節(jié)點v_i相對于給定對象o的權重；

其中sg(o)是給定對象o(實體或關系)的上下文子圖向量，通過公式(4)將o的上下文子圖中所有節(jié)點的向量加權求和得到；

o^*＝g⊙o^k+(1-g)⊙sg(o)#(5)

其中o是一個實體或關系，o^k是它的向量表示，sg(o)是它的上下文子圖向量，⊙代表逐元素乘，將門向量g中的每個元素的取值范圍限制在[0,1]，其中是隨機初始化的一個參數向量，所有實體共用一個參數g，記為g^e，所有關系共用另一個參數g，記為g^r，o^*代表給定對象o的聯合向量表示。

3.根據權利要求書1所述的動態(tài)環(huán)境下的知識圖譜表示學習方法，其特征在于，所述步驟1)中的基于上下文信息的表示學習模型的訓練過程采用如下得分函數：

其中(h,r,t)分別代表知識圖譜中給定三元組的頭實體、關系和尾實體，h^*，r^*和t^*分別是頭實體、關系和尾實體的聯合向量表示，由公式(5)計算得到，是l₁范數；f(h,r,t)代表給定三元組的得分。

4.根據權利要求書1所述的動態(tài)環(huán)境下的知識圖譜表示學習方法，其特征在于，所述步驟1)中的基于上下文信息的表示學習模型的訓練過程采用如下損失函數：

其中γ是邊距，S是正確三元組的集合，S′是通過負采樣生成的錯誤三元組的集合，(h,r,t)和(h′,r,t′)分別是S和S′中的三元組，f(·)代表給定三元組的得分，由公式(6)計算得到，代表給定三元組的損失值。

5.根據權利要求書1所述的動態(tài)環(huán)境下的知識圖譜表示學習方法，其特征在于，所述步驟2)中的增量式表示學習算法包含如下步驟：

步驟2-1)移除所有被刪除的對象(實體或關系)的向量表示；

步驟2-2)為所有新增對象(實體或關系)添加隨機初始化的向量表示；

步驟2-3)收集知識圖譜中所有包含新增對象(實體或關系)以及上下文發(fā)生改變的對象(實體或關系)的三元組；

步驟2-4)基于公式(7)中定義的損失函數，使用隨機梯度下降法來訓練上述步驟2-3)中收集得到的三元組，訓練過程中更新的參數只包括：新增對象(實體或關系)的向量、新增對象(實體或關系)的上下文角色向量以及上下文發(fā)生改變的原有對象(實體或關系)的向量，其余參數保持不變。