[發明專利]一種基于隱式翻譯模型的知識圖譜嵌入方法

在審

• 申請號: 201911036820.5
• 申請日: 2019-10-29
• 公開（公告）號: CN110765788A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 于健;王儒;于瑞國;李雪威;岳遠志;趙滿坤;徐天一;應翔
• 申請（專利權）人: 天津大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F16/36;G06N3/08
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 劉子文

1.一種基于隱式翻譯模型的知識圖譜嵌入方法，其特征在于，包括以下步驟：

步驟一，利用全連接的思想，構建知識圖譜中實體之間的關系表示方法；

步驟二，通過關系表示方法得到神經網絡的損失函數；

步驟三，使用訓練集中的事實三元組數據訓練神經網絡，事實三元組數據由頭實體、關系和尾實體組成，是通過對事實語句提取獲得的，得到頭實體向量、尾實體向量和關系的表示結果；

步驟四，使用測試集中的三元組數據測試訓練出的神經網絡，驗證并分析實體和關系的嵌入效果。

2.根據權利要求1所述一種基于隱式翻譯模型的知識圖譜嵌入方法，其特征在于，步驟一具體步驟如下：根據萬能近似定理(universal approximation theorem)，一個前饋神經網絡如果具有線性輸出層和至少一層具有任何一種“擠壓”性質的激活函數的隱藏層，只要給予前饋神經網絡足夠數量的隱藏單元，前饋神經網絡能夠以任意的精度來近似任何從一個有限維空間到另一個有限維空間的Borel可測函數；步驟一種使用的是一個兩層的全連接前饋神經網絡，頭實體向量經過該神經網絡將轉換為尾實體向量。

3.根據權利要求1所述一種基于隱式翻譯模型的知識圖譜嵌入方法，其特征在于，步驟二具體步驟如下：將存儲的頭實體向量經過步驟一中的神經網絡的轉換后得到的尾實體向量與存儲的真實尾實體的向量表示的差值的二范數作為損失值，以此來判斷和衡量得到的尾實體向量與真實尾實體向量之間的相似性。

4.根據權利要求2所述一種基于隱式翻譯模型的知識圖譜嵌入方法，其特征在于，步驟三具體步驟如下：通過步驟一中定義的兩層的全連接前饋神經網絡與步驟二中定義的損失函數，將訓練集中的每個事實三元組的頭實體、關系和尾實體表示代入到損失函數中，得到對應的損失值，通過反向求導，利用隨機梯度下降的方法降低損失值，不斷更新每個頭實體、關系和尾實體的向量表示；重復執行這一過程，直到梯度不再下降，達到穩定結果為止。

5.根據權利要求1所述一種基于隱式翻譯模型的知識圖譜嵌入方法，其特征在于，步驟四具體步驟如下：測試分為兩個方面：第一個方面是實體鏈接預測測試，實體鏈接預測測試集中包含大量事實三元組，對于其中的每個三元組，使用訓練集中全部實體分別替換尾實體，得到包含一個與事實相符的正確的三元組和與事實不相符的錯誤的三元組的三元組集合；對于得到的三元組集合中的每個三元組，按照損失函數計算他們的損失值，并按照損失值從小到大進行排序，如果正確的三元組的排名在前10名，則認為測試集中的現在測試的三元組的結果符合要求，對于測試集中的全部三元組進行上述過程，統計符合要求的三元組數量占總體數量的比例，比例越高，證明嵌入效果越好；

另一個方面是三元組驗證測試，三元組驗證測試集中包含成對出現的正確三元組和錯誤三元組，首先通過驗證集中數據設置一個閥值，如果三元組經過損失函數得到的損失值高于閥值，則判定該三元組為錯誤三元組，否則判定該三元組為正確三元組；統計判定結果的準確率，準確率越高，證明嵌入效果越好。