[發(fā)明專利]一種3DRTE時間知識圖譜的三維旋轉(zhuǎn)嵌入方法

在審

• 申請?zhí)枺?/td>: 202011114740.X
• 申請日: 2020-10-16
• 公開（公告）號: CN112231469A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設計）人: 汪璟玢;張旺
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F16/35;G06F16/36;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種3DRTE時間知識圖譜的三維旋轉(zhuǎn)嵌入方法，其特征在于：包括以下步驟：

步驟S1：定義時間知識圖譜TKG，給定實體集合E，關系集合R，時間戳集合T，一個TKG表示為時間事實四元組(s,r,o,t)的集合其中s,o∈E表示實體，r∈R表示關系；令已知的時間事實集合為G，且則TKGC的目的就是在現(xiàn)有知識G的基礎上推導出W，即在給定已知事實集合G的情況下補全出TKG的全貌W；

步驟S2：建立3DRTE模型，包括利用自注意力機制處理時間戳的各個片段帶來的信息和利用四元數(shù)的旋轉(zhuǎn)特性，將實體在融合了時間的關系的作用下，旋轉(zhuǎn)建模在了三維空間中，從而獲得實體在關系旋轉(zhuǎn)下的得分函數(shù)，即完成模型建立；

步驟S3：將步驟S2中得到的模型使用損失函數(shù)進行訓練，并進行數(shù)據(jù)驗證，最終實現(xiàn)補全時間知識圖的目的。

2.根據(jù)權利要求1所述的一種3DRTE時間知識圖譜的三維旋轉(zhuǎn)嵌入方法，其特征在于：所述步驟S2中所述利用3DRTE模型中的自注意力機制處理時間戳的各個片段帶來的信息的具體內(nèi)容為：

給定一個時間知識四元組(s,r,o,t)，僅考慮關系r和時間t，因此令它們的維度都是k；對于關系r，它來自關系的嵌入矩陣其中N表示整個知識圖譜中關系類型的個數(shù)；對于時間t，它是一個由l個token組成的時間戳，對每個token，都從矩陣獲得它們的表示，其中L表示知識圖譜中時間token類型的個數(shù)；為了讓關系自適應于每一個時間token帶來的信息，引入自注意力機制處理關系-時間序列；自注意力通過計算每一個token對關系的影響程度，從而有選擇性的融合特征；具體計算過程如下：

首先，將關系和時間序列拼接作為整個計算圖的輸入I，即

I＝[r；t₁；t₂......；t_l] (1)

把I分別輸入進三個參數(shù)矩陣W^U、W^K、W^V，經(jīng)過線性變換得到查詢矩陣U、鍵矩陣K以及值矩陣V，即

之后，為了計算每個查詢矩陣U對每個鍵矩陣K的權重，先將K轉(zhuǎn)置得到K^T，與U作矩陣乘法之后，經(jīng)過softmax的激活，得到每個時間token對關系r的權重矩陣最后，將V乘以即得到最后的輸出矩陣O，公式化為：

O＝V×softmax(K^T×U) (3)

只取O的第一行作為輸出，即融合了時序信息的關系表示r_t。