[發明專利]一種基于隱式翻譯模型的知識圖譜嵌入方法

在審

• 申請號: 201911036820.5
• 申請日: 2019-10-29
• 公開（公告）號: CN110765788A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 于健;王儒;于瑞國;李雪威;岳遠志;趙滿坤;徐天一;應翔
• 申請（專利權）人: 天津大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F16/36;G06N3/08
• 代理公司: 12201 天津市北洋有限責任專利代理事務所
• 代理人: 劉子文

本發明公開一種基于隱式翻譯模型的知識圖譜嵌入方法，不同于傳統的基于翻譯模型的方法，首次將關系表示成為兩層全連接前饋神經網絡，增強了知識圖譜中對于復雜關系的表示能力，可以有效處理其他基于翻譯模型方法無法處理的兩種復雜情況，包括同實體對之間具有多種不同關系的情況和多個實體之間具有循環關系的情況，有效提高了知識圖譜嵌入的效果，最終通過實體鏈接預測測試和三元組驗證測試的測試結果證明了本發明方法確實優于現有的基于翻譯模型的方法。

技術領域

本發明屬于自然語言處理和知識圖譜領域，涉及知識圖譜嵌入技術、知識表示學習技術和神經網絡學習技術，尤其是一種基于隱式翻譯模型的知識圖譜嵌入方法。

背景技術

目前在相關技術中，知識圖譜嵌入技術主要分為兩類：一種是基于翻譯模型的知識圖譜嵌入技術。自從2013年第一個基于翻譯模型的方法(TransE)被提出以來，基于翻譯的嵌入模型因其知識圖補全的簡單性和高效性而受到越來越多的關注。基于翻譯模型的核心思想是將實體間的關系表示成從頭實體到尾實體之間的翻譯。然而，現有的基于翻譯模型的方法都使用了一個固定的翻譯方程，都存在一定的局限性。現有的基于翻譯的模型主要有TransE，TransH，TransR，TransD，KG2E，STransE，TranSparse，TransAt等。

基于翻譯模型的知識圖譜嵌入的缺陷在于它對于知識圖譜中復雜關系的處理較為無力，例如同實體對之間具有多種不同關系的情況和多個實體之間具有循環關系的情況。對于上述兩種情況，大部分基于翻譯的模型都會失效。

另一類嵌入技術是基于語義匹配模型。基于語義匹配模型的方法利用基于相似性的評分函數。他們通過在相應的向量表示空間中匹配實體和關系的潛在語義來衡量事實的合理性。現有的基于語義匹配模型主要有RESCAL，DistMult，HolE，Complex，ANALOGY，SE，SME，LFM，NTN，MLP以及NAM等。

基于語義匹配模型的知識圖譜嵌入的缺陷在于他需要大量的參數來擬合較為復雜的神經網絡，從而導致訓練過程較為困難，訓練時間較長，效率較低，并且得到的結果大部分也不如基于翻譯模型的效果好。

發明內容

本發明的目的是為了克服現有技術中的不足，提供一種基于隱式翻譯模型的知識圖譜嵌入方法。

本發明的目的是通過以下技術方案實現的：

一種基于隱式翻譯模型的知識圖譜嵌入方法，包括以下步驟：

步驟一，利用全連接的思想，構建知識圖譜中實體之間的關系表示方法；

步驟二，通過關系表示方法得到神經網絡的損失函數；

步驟三，使用訓練集中的事實三元組數據訓練神經網絡，事實三元組數據由頭實體、關系和尾實體組成，是通過對事實語句提取獲得的，得到頭實體向量、尾實體向量和關系的表示結果；

步驟四，使用測試集中的三元組數據測試訓練出的神經網絡，驗證并分析實體和關系的嵌入效果。

進一步的，步驟一具體步驟如下：根據萬能近似定理(universal approximationtheorem)，一個前饋神經網絡如果具有線性輸出層和至少一層具有任何一種“擠壓”性質的激活函數的隱藏層，只要給予前饋神經網絡足夠數量的隱藏單元，前饋神經網絡能夠以任意的精度來近似任何從一個有限維空間到另一個有限維空間的Borel可測函數；步驟一種使用的是一個兩層的全連接前饋神經網絡，頭實體向量經過該神經網絡將轉換為尾實體向量。

進一步的，步驟二具體步驟如下：將存儲的頭實體向量經過步驟一中的神經網絡的轉換后得到的尾實體向量與存儲的真實尾實體的向量表示的差值的二范數作為損失值，以此來判斷和衡量得到的尾實體向量與真實尾實體向量之間的相似性。