[發(fā)明專利]一種基于關(guān)系旋轉(zhuǎn)的知識表示學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 202310491665.6
• 申請日: 2023-05-05
• 公開（公告）號: CN116629355A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 王俊;王明杰;劉金生;甘健侯;周菊香;代飛;強振平;李子杰
• 申請（專利權(quán)）人: 云南師范大學(xué)
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06F16/36
• 代理公司: 昆明明潤知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 53215
• 代理人: 王鵬飛

1.一種基于關(guān)系旋轉(zhuǎn)的知識表示學(xué)習(xí)方法，其特征在于，包括以下步驟：

Step1、對知識圖譜訓(xùn)練集中的實體和關(guān)系進(jìn)行初始化，用向量表示；

Step2、將訓(xùn)練集中的正樣例通過替換頭、尾實體以及關(guān)系的方法構(gòu)造一定比例的負(fù)樣例；

Step3、將Step2中得到的正、負(fù)樣例代入到知識表示學(xué)習(xí)模型中，計算正、負(fù)損失以及總損失；

Step4、根據(jù)Step3中的損失通過Adam優(yōu)化器來更新實體和關(guān)系的向量表示；

Step5、重復(fù)Step2~4，直到迭代次數(shù)到達(dá)預(yù)先設(shè)定的最大迭代次數(shù)，最后輸出實體和關(guān)系的向量表示，完成知識表示學(xué)習(xí)；

所述Step1中對知識圖譜訓(xùn)練集中的實體和關(guān)系進(jìn)行初始化，用向量表示的具體過程為：

Step1.1、根據(jù)輸入的實體和關(guān)系維度定義向量的大??；

定義實體向量，關(guān)系向量，其中每個、都是一個維的向量，表示訓(xùn)練集中樣本數(shù)據(jù)個數(shù)；

Step1.2、采用均勻分布的方法初始化實體和關(guān)系的向量表示；

對所有實體向量以及關(guān)系向量采用均勻分布的方法進(jìn)行隨機初始化，限制模長為1；

所述Step2中構(gòu)造負(fù)樣例的具體過程為：

對于訓(xùn)練集中正確三元組即正樣例，頭實體或者尾實體被一個隨機的實體替換到此三元組中，通過均勻隨機抽樣或者伯努利隨機抽樣的替換方式，構(gòu)成新的負(fù)例三元組，并確保構(gòu)造出來的負(fù)例三元組不存在于原知識圖譜中；

所述Step3中將Step2中得到的正、負(fù)樣例代入到模型中，計算正、負(fù)損失以及總損失的具體過程為：

Step3.1、定義如下知識表示學(xué)習(xí)模型，將頭實體與尾實體映射到二維閔可夫斯基空間中，關(guān)系定義為從頭實體到尾實體的旋轉(zhuǎn)，將頭、尾實體以及關(guān)系在二維閔氏空間中用相關(guān)參數(shù)表示，，，其中，為虛數(shù)單位，為轉(zhuǎn)動角,?和分別為頭實體在二維閔氏空間兩個維度上的分量，和分別為尾實體在二維閔氏空間兩個維度上的分量；

Step3.2、給定一個Step2中的正確三元組，我們期望：，即，其中是哈達(dá)瑪積；

Step3.3、通過上述定義，對于每個正確三元組，定義打分函數(shù)；

Step3.4、將基于邊際的損失函數(shù)定義為訓(xùn)練目標(biāo)，即損失，其中是最大間隔，是由正確三元組構(gòu)成的訓(xùn)練集，是通過替換正確三元組的頭實體或尾實體得到的負(fù)例三元組構(gòu)成的集合，表示正確三元組的評分函數(shù)值，表示負(fù)例三元組的評分函數(shù)值；

Step3.5、將正、負(fù)樣例代入到打分函數(shù)中得到正、負(fù)損失，計算總損失。

2.根據(jù)權(quán)利要求1所述的基于關(guān)系旋轉(zhuǎn)的知識表示學(xué)習(xí)方法，所述Step4中根據(jù)Step3中的損失通過Adam優(yōu)化器來更新實體和關(guān)系的向量表示的具體過程為：

Step4.1、設(shè)定最小化損失函數(shù)的目標(biāo)；

Step4.2、使用Adam優(yōu)化器反向傳播更新實體和關(guān)系的向量表示。

3.根據(jù)權(quán)利要求1所述的基于關(guān)系旋轉(zhuǎn)的知識表示學(xué)習(xí)方法，所述Step5中重復(fù)Step2~4，直到迭代次數(shù)到達(dá)預(yù)先設(shè)定的最大迭代次數(shù)，最后輸出實體和關(guān)系的向量表示，完成知識表示學(xué)習(xí)的具體過程為：

Step5.1、設(shè)定最大迭代次數(shù)與驗證間隔；

Step5.2、每訓(xùn)練次，使用驗證集執(zhí)行鏈接預(yù)測任務(wù)對當(dāng)前訓(xùn)練的模型進(jìn)行驗證，記錄評估指標(biāo)及保存當(dāng)前實體和關(guān)系的向量表示，直至達(dá)到設(shè)定的最大迭代次數(shù)；

Step5.3、選擇在驗證集上效果最好的模型，用測試集測試模型學(xué)習(xí)效果，輸出評估指標(biāo)以及實體和關(guān)系的向量表示，完成知識表示學(xué)習(xí)。