[發(fā)明專利]一種引入實(shí)體上下文的三維旋轉(zhuǎn)知識(shí)圖譜嵌入方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110382919.1
• 申請(qǐng)日: 2021-04-09
• 公開（公告）號(hào): CN113254661B
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 陸佳煒;王小定;朱昊天;鄭嘉宏;程振波;徐雪松;肖剛
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

1.一種引入實(shí)體上下文的三維旋轉(zhuǎn)知識(shí)圖譜嵌入方法，其特征在于，所述方法包括以下步驟：

第一步：定義知識(shí)圖譜三種主要關(guān)系模式和相關(guān)形式化表述，過程如下：

1.1、定義對(duì)稱/反對(duì)稱關(guān)系模式和相關(guān)形式化表述：關(guān)系r是對(duì)稱關(guān)系，當(dāng)且僅當(dāng)成立時(shí)，關(guān)系r被稱為對(duì)稱關(guān)系；關(guān)系r是反對(duì)稱關(guān)系，當(dāng)且僅當(dāng)成立時(shí)，關(guān)系r被稱為反對(duì)稱關(guān)系；

1.2、定義逆關(guān)系模式和相關(guān)形式化表述：關(guān)系r₁與關(guān)系r₂是一組互逆關(guān)系，當(dāng)且僅當(dāng)成立時(shí)，關(guān)系r₁與關(guān)系r₂互為逆關(guān)系；

1.3、定義組合關(guān)系模式和相關(guān)形式化表述：關(guān)系r₁是關(guān)系r₂與關(guān)系r₃的組合，當(dāng)且僅當(dāng)成立時(shí)，關(guān)系r₁被稱為是關(guān)系r₂與關(guān)系r₃的組合關(guān)系；

其中，e₁,e₂,e₃分別表示知識(shí)圖譜實(shí)體集E中的不同實(shí)體，r,r₁,r₂分別表示關(guān)系集R中的不同關(guān)系，是正確三元組，即正例的集合，是錯(cuò)誤三元組，即負(fù)例的集合；

第二步、定義四元數(shù)的基礎(chǔ)和基于四元數(shù)乘法的三維旋轉(zhuǎn)表示；

第三步、基于四元數(shù)進(jìn)行關(guān)系三維旋轉(zhuǎn)建模，然后引入實(shí)體的上下文信息，計(jì)算打分函數(shù)，重新評(píng)估三元組的質(zhì)量，同時(shí)推導(dǎo)模型針對(duì)知識(shí)圖譜三種關(guān)系模式建模的能力，并進(jìn)行模型訓(xùn)練以獲得更好的四元數(shù)向量表示；

3.1、基于四元數(shù)進(jìn)行關(guān)系三維旋轉(zhuǎn)建模，給定一個(gè)三元組(h，r，t)，其中h表示頭實(shí)體，t表示尾實(shí)體，r表示為頭實(shí)體和尾實(shí)體之間的關(guān)系，將這個(gè)三元組的頭尾實(shí)體h，t和關(guān)系r的嵌入表示為四元數(shù)的向量形式h,t和r；

3.2、引入實(shí)體上下文信息，并計(jì)算打分函數(shù)；

所述3.2的過程如下：

3.2.1、獲取該三元組(h，r，t)的頭實(shí)體-關(guān)系對(duì)上下文，并將頭實(shí)體-關(guān)系對(duì)上下文放入一個(gè)初始化后的ArrayList，命名為arrayList；實(shí)體t是三元組中的尾實(shí)體，它的頭實(shí)體-關(guān)系對(duì)上下文定義如下：

把知識(shí)圖譜從有向圖的角度理解，r_c是尾實(shí)體t的入邊，h_c是尾實(shí)體t通過關(guān)系r_c所關(guān)聯(lián)到的實(shí)體，因此尾實(shí)體t的頭實(shí)體-關(guān)系對(duì)上下文的規(guī)模就是所有與尾實(shí)體t有直接關(guān)系r_c相連的頭實(shí)體h_c的數(shù)量，(h_c,r_c)是由h_c和r_c組成的頭實(shí)體-關(guān)系對(duì)，(h_c,r_c,t)表示由頭實(shí)體-關(guān)系對(duì)上下文(h_c,r_c)和尾實(shí)體t組成的三元組，尾實(shí)體t的頭實(shí)體-關(guān)系對(duì)上下文的規(guī)模由|C_hr(t)|表示；

3.2.2、計(jì)算該三元組(h，r，t)的頭實(shí)體-關(guān)系對(duì)上下文的規(guī)模|C_hr(t)|，|C_hr(t)|的大小等于arrayList的大小，即|C_hr(t)|＝arrayList.size；

3.2.3、計(jì)算所有頭實(shí)體-關(guān)系對(duì)上下文C_hr(t)從頭實(shí)體和關(guān)系到尾實(shí)體的映射Rot⁺(h_c,r_c)；

3.2.4、計(jì)算尾實(shí)體t的頭實(shí)體-關(guān)系對(duì)上下文表示，計(jì)算公式如下，其中t是尾實(shí)體t的四元數(shù)向量表示：

3.2.5、計(jì)算尾實(shí)體t的頭實(shí)體-關(guān)系對(duì)上下文表示與相關(guān)的基于四元數(shù)向量表示的三元組之間的距離，計(jì)算公式如下，其中k是模型維數(shù)：

3.2.6、獲取該三元組(h，r，t)的關(guān)系-尾實(shí)體對(duì)上下文，并將關(guān)系-尾實(shí)體對(duì)上下文放入一個(gè)初始化后的ArrayList，命名為arrayList1；實(shí)體h是三元組中的頭實(shí)體，其關(guān)系-尾實(shí)體對(duì)上下文定義如下：

把知識(shí)圖譜從有向圖的角度理解，r_c是頭實(shí)體h的出邊，t_c是頭實(shí)體h通過關(guān)系r_c所關(guān)聯(lián)到的實(shí)體，因此頭實(shí)體h的關(guān)系-尾實(shí)體對(duì)上下文的規(guī)模就是所有與頭實(shí)體h有直接關(guān)系r_c相連的尾實(shí)體t_c的數(shù)量，(r_c,t_c)是由r_c和t_c組成的關(guān)系-尾實(shí)體對(duì)，(h,r_c,t_c)表示由關(guān)系-尾實(shí)體對(duì)(r_c,t_c)和頭實(shí)體h組成的三元組，頭實(shí)體h的關(guān)系-尾實(shí)體對(duì)上下文的規(guī)模由|C_rt(h)|表示；

3.2.7、計(jì)算該三元組(h，r，t)的關(guān)系-尾實(shí)體對(duì)上下文的規(guī)模|C_rt(h)|，|C_rt(h)|的大小等于arrayList1的大小，即|C_rt(h)|＝arrayList1.size；

3.2.8、計(jì)算所有關(guān)系-尾實(shí)體對(duì)上下文C_rt(h)從尾實(shí)體和關(guān)系到頭實(shí)體的映射Rot^-(t_c,r_c)；

3.2.9、計(jì)算頭實(shí)體h的關(guān)系-尾實(shí)體對(duì)上下文表示，計(jì)算公式如下，其中h是頭實(shí)體h的四元數(shù)向量表示：

3.2.10、計(jì)算頭實(shí)體h的關(guān)系-尾實(shí)體對(duì)上下文表示與相關(guān)的基于四元數(shù)向量表示的三元組之間的距離，計(jì)算公式如下，其中k是模型維數(shù)：

3.2.11、計(jì)算三元組的基于距離的打分函數(shù)，計(jì)算公式如下，其中d((h,r),t)是映射結(jié)果到尾實(shí)體t_i的基于距離的打分函數(shù)，d(h,(r,t))是計(jì)算映射結(jié)果到頭實(shí)體h_i的基于距離的打分函數(shù)，d_c((h,r),t)是3.2.5的結(jié)果，d_c(h,(r,t))是3.2.10的結(jié)果：

3.3、與RotatE相比，繼承了三維旋轉(zhuǎn)的特征，學(xué)習(xí)和推理三種基本關(guān)系模式的能力得到了進(jìn)一步增強(qiáng)；針對(duì)各種關(guān)系模式，給出了模型對(duì)關(guān)系模式的建模能力；

3.4、訓(xùn)練模型以獲得更好的四元數(shù)向量，過程如下：

3.4.1、準(zhǔn)備知識(shí)圖譜的實(shí)體集E，關(guān)系集R，訓(xùn)練集三元組集合這些訓(xùn)練集三元組集合是由實(shí)體集E和關(guān)系集R組成的能夠成立的三元組，即正例的集合，設(shè)置模型實(shí)體和關(guān)系的維度k，從三元組集合中取隨機(jī)個(gè)批處理數(shù)據(jù)，數(shù)量設(shè)為batch_size；設(shè)置負(fù)例三元組的數(shù)目n_neg，負(fù)例三元組指的是將某一個(gè)正例三元組中的頭實(shí)體或者尾實(shí)體替換后生成的不成立的三元組，n_neg的大小表示由一個(gè)正例三元組生成n_neg個(gè)負(fù)例三元組；設(shè)置邊界值γ，用于判斷打分函數(shù)的值是否超過邊界值γ，若超過則表示這個(gè)三元組不成立，否則，這個(gè)三元組成立；設(shè)置自對(duì)抗采樣溫度a，當(dāng)a＝0時(shí)，自對(duì)抗采樣退化為均勻采樣，當(dāng)a0時(shí)，得分越小的負(fù)例三元組對(duì)應(yīng)的采樣權(quán)重就越大；設(shè)置模型訓(xùn)練的最大步數(shù)MaxStep，表示訓(xùn)練的輪數(shù)；

3.4.2、隨機(jī)初始化實(shí)體向量h,t和關(guān)系向量r，將它們表示成四元數(shù)向量，此時(shí)生成的四元數(shù)向量并不精準(zhǔn)，初始化變量step＝1表示當(dāng)前已進(jìn)行訓(xùn)練步數(shù)；

3.4.3、判斷step的值是否小于MaxStep，若小于，執(zhí)行3.4.3.1～3.4.3.10，并且step+1，否則，執(zhí)行3.4.4；

3.4.3.1、從三元組集合中隨機(jī)采樣batch_size數(shù)量的正例三元組集S_batch；

3.4.3.2、遍歷S_batch，取S_batch中第m個(gè)三元組，0≤m＜batch_size；構(gòu)造n_neg個(gè)負(fù)例三元組，初始化一個(gè)HashMap，將第n+1個(gè)負(fù)例三元組裝入HashMap，HashMap的key值為n，value為負(fù)例三元組，0≤n＜n_neg；

3.4.3.3、獲取第m個(gè)三元組，執(zhí)行步驟3.1和3.2，獲得3.2.11中打分函數(shù)的值，第m個(gè)三元組的打分函數(shù)值記為d_finalm(h,r,t)；

3.4.3.4、遍歷HashMap，取key為i的value值，獲取第i+1個(gè)負(fù)例三元組，執(zhí)行步驟3.1和3.2，獲得3.2.11中打分函數(shù)的值，第i個(gè)負(fù)例三元組的打分函數(shù)記為d_finali(h′_i,r,t′_i)，h′_i，t′_i表示替換后的第i個(gè)負(fù)例三元組的頭實(shí)體和尾實(shí)體；

3.4.3.5、判斷HashMap是否遍歷完成，若是執(zhí)行3.4.3.6，否則，返回3.4.3.4；

3.4.3.6、計(jì)算第i個(gè)負(fù)例三元組的采樣權(quán)重，計(jì)算公式如下所示：

其中，p_i(h′_i,r,t′_i)表示負(fù)例三元組的采樣權(quán)重，exp(x)＝e^x；

3.4.3.7、計(jì)算第m個(gè)三元組的損失函數(shù)，計(jì)算公式如下所示：

其中σ是sigmoid函數(shù)，其計(jì)算公式如下所示：

3.4.3.8、判斷S_batch是否遍歷完成，若是，執(zhí)行3.4.3.9，否則，執(zhí)行3.4.3.2；

3.4.3.9、計(jì)算S_batch中所有正例三元組的損失函數(shù)，計(jì)算公式如下：

3.4.3.10、根據(jù)S_batch的損失函數(shù)值，通過梯度反向傳播去更新所涉及的實(shí)體和關(guān)系四元數(shù)向量；3.4.4、獲取最新的實(shí)體和關(guān)系四元數(shù)向量，此時(shí)的實(shí)體和關(guān)系四元數(shù)向量相比之前的實(shí)體和關(guān)系表示成的四元數(shù)向量更加準(zhǔn)確，此時(shí)完成了知識(shí)圖譜嵌入過程，即將知識(shí)圖譜中的實(shí)體和關(guān)系轉(zhuǎn)化成向量的過程。