[發明專利]基于深度嵌入表示和深度圖計算的知識表示方法及系統

在審

• 申請號: 202210725208.4
• 申請日: 2022-06-24
• 公開（公告）號: CN114969381A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 趙晶;吳棟林;耿玉水;王新剛;孫濤
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/335;G06F16/35;G06F40/194;G06F40/30;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

本公開涉及知識圖譜技術領域，提出了基于深度嵌入表示和深度圖計算的知識表示方法及系統，包括如下過程：針對被處理的知識圖譜，利用深度圖計算鏈接預測算法，根據知識圖譜的圖結構和語義信息，預測知識圖譜中可能形成鏈接的實體對；利用深度嵌入自適應知識嵌入方法，采用自適應度量方法和深度嵌入空間投影相結合，驗證鏈接預測階段得到的實體對之間的關系，形成正確的三元組，更新知識圖譜。本公開充分考慮知識圖譜內部信息，基于深度嵌入表示和深度圖計算，應用兩種改進方法的結合方式實現知識圖譜的缺失補全。

技術領域

本公開涉及知識圖譜相關技術領域，具體的說，是涉及基于深度嵌入表示和深度圖計算的知識表示方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，并不必然構成在先技術。

知識圖譜在很多人工智能應用上發揮著重要的作用，例如智能問答、信息推薦、網頁搜索等。知識圖譜是一個結構化的語義網絡，存儲著大量的事實三元組(包括頭實體，關系，尾實體)，通常簡化為(h,r,t)。知識表示學習是面向知識庫中實體和關系的表示學習。當構建大規模知識圖譜，需要不斷補充實體間的關系時，利用知識表示學習可以進行知識圖譜補全。

目前，知識表示主流的方法如下：

(1)翻譯模型：在現有的知識表示學習方法中，TransE模型是一個十分具有代表性的方法。通過詞向量存在平移不變性，將知識庫中的關系看作實體間的平移向量，也就是在知識表示空間中頭實體向量經過關系向量的轉換后與尾實體向量的歐氏距離。TransE模型參數較少，計算的復雜度低，能直接建立起實體與關系之間的復雜語義關系。后續基于TransE模型又提出了TransR等多個可以處理一對多、多對一、多對多關系的翻譯模型。TransR模型通過對實體多種屬性，以及不同關系關注實體不同方面的考量，在實體空間和關系空間中建模實體和關系，并在對應的關系空間中利用關系投影矩陣進行轉換。TransA采用橢圓等勢面代替球形等勢面，可以更好地表示由復雜關系引起的復雜嵌入拓撲。此外，TransA可以被視為加權轉換后的特征維數，抑制了來自無關維度的噪聲。

(2)神經網絡模型(DKRL模型)：DKRL模型通過使用深度神經網絡模型增強實體描述來增強嵌入，從而擴展了TransE模型。然而，DKRL模型需要額外的空間來存儲內層參數，并依賴于更多的超參數進行調優。RLKB模型建立了一個單層神經模型，該模型只需要較少的參數就可以實現知識庫的表示學習。之前該任務的模型多是淺層的，相比于深的多層模型，學習特征的能力較弱，因此后來研究者提出多層卷積網絡ConvE模型。ConvE模型首先把頭實體和關系轉換為二維向量，接下來利用卷積層和全連接層獲取交互信息，然后與矩陣W和尾實體進行計算，判斷當前三元組的可信度。但ConvE模型忽略了三元組的全局特征，所以后續研究者提出了ConvKB模型，該模型可以捕獲實體之間的全局關系和過渡特性，以及知識庫中的關系。CapsE模型采用膠囊神經網絡模型，首先把頭實體、關系、尾實體表示稱k×3的矩陣，接下來通過卷積層獲取其特征信息，然后對特征信息進行壓縮并進行動態路由，最后計算三元組的可信度。

(3)其他模型：除了應用較多的翻譯模型與神經網絡模型以外，距離模型、單層神經網絡模型、張量神經網絡模型和雙線性模型模型也有著廣泛使用。距離模型中的結構表示是早期的知識表示方法。在結構表示中，實體使用d維度的向量表示，所有的實體都被投影到同一個d維向量空間中。單層神經網絡模型使用單層神經網絡的非線性操作，減弱結構表示無法協同準確刻畫實體與關系的語義聯系的問題。語義匹配能量模型提出復雜操作，尋找實體和關系之間的語義聯系。張量神經網絡模型使用雙線性張量代替傳統神經網絡中的線性變換層，在不同的維度下將頭實體和尾實體向量聯系起來。雙線性模型中的隱變量模型提出利用基于關系的雙線性變換，刻畫實體和關系之間的二階聯系。

發明人發現，上述的知識表示學習方法，TransE以及部分改進模型多使用歐氏距離作為得分函數中的度量，每個特征維度以相同的權重參與計算，準確性會受到無關維度的影響，靈活性不高。同時在用于現實的大規模知識圖譜時時間開銷巨大。

發明內容