[發明專利]基于多尺度分散動態路由的知識圖譜補全方法及系統

在審

• 申請號: 202210390059.0
• 申請日: 2022-04-14
• 公開（公告）號: CN114741532A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 尉秀梅;馬浩翔;姜雪松;柴慧慧;陳珺;陳佃迎
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N5/02;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 于鳳洋

本發明提出了一種基于多尺度分散動態路由的知識圖譜補全方法及系統，對獲取的待補全三元組使用多頭注意力機制與記憶矩陣循環交互，編碼實體和關系之間的潛在依賴關系，生成三元組編碼向量；將三元組編碼向量，輸入到訓練好的膠囊網絡中，提取全局特征，并為全局特征分配不同的耦合系數，根據全局特征預測缺失的三元組，完成知識圖譜的補全；本發明在知識圖譜預測時對實體之間潛在的依賴關系進行有效建模，盡可能地減少預測時動態路由造成的偏差，捕獲不同抽象層次的特征，從而提高知識圖譜補全預測精度和三元組分類的效果。

技術領域

本發明屬于知識圖譜技術領域，尤其涉及基于多尺度分散動態路由的知識圖譜補全方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

知識圖譜(KG)是由谷歌在2012年提出的，通常被表達為一個多關系圖譜，是一個事實三要素的集合，世界上有大量的事實可以簡單地表示為實體和它們之間的關系，YAGO、Freebase和DBpedia通常是以事實(頭實體、關系、尾實體)的形式表示實體之間的關系的KGs，表示為(h；r；t)，例如(“北京”,“屬于”,“中國”)；在推薦系統、問題回答、信息檢索和自然語言處理領域可以用知識圖譜來刻畫三元關系，然而，大型知識圖譜，即使包含數十億的三要素，仍然是不完整的，即缺少很多有效的三要素。

因此，很多研究工作都集中在知識圖譜的補全上，包括給定頭實體和關系，預測尾實體，或者給定尾實體和關系，預測頭實體，其目的是預測知識圖譜中缺失的三元組，很多學習知識圖譜中實體和關系低維表示的嵌入方法被提出來，也已被證明是可擴展和有效的；此外，知識圖譜預測的準確性也可以通過一些優化方法來提高；通過使用這些知識圖譜的嵌入模型可以有效的對不完整的知識圖譜進行預測補全。

現有的知識圖譜補全方法大多是通過簡單的線性變換將三元組嵌入到連續的低維向量空間中，盡管計算效率高，但這些模型的擬合能力并不理想；Chen，Yang等人提出了一種多尺度的膠囊網絡模型MCapsE，從深度的角度對嵌入向量之間的關系進行建模，在膠囊網絡的卷積層中使用具有不同窗口大小的卷積核提取三元組中實體和關系的語義特征，然后通過膠囊層中的路由過程算法將這些語義特征表示為連續向量進行知識圖譜的補全研究。Nguye等人提出了一種新的嵌入模型R-MeN，用關系記憶網絡來編碼關系三元組中的潛在依賴關系，R-MeN將每個三元組視為3個輸入向量的序列，這些向量使用Transformer自注意機制與內存循環交互，對來自內存和每個輸入向量之間交互的新信息進行編碼，以返回相應的向量，R-MeN將這3個返回的向量提供給基于卷積神經網絡的解碼器，以生成三元組的標量分數，進行知識圖譜的分類。

現有方法的不足點：

1)MCapsE通過在卷積層中使多尺度的卷積核改進CapsE，提高了模型提取三元組的語義特征，但僅擴展膠囊網絡模型無法有效地捕獲實體之間的潛在依賴關系；2)而R-MeN，盡管可以很好地提取不同語義空間中實體之間的潛在依賴關系，但受限于卷積神經網絡編碼效率低的弊端；3)而且由于膠囊網絡中的動態路由部分使用的Softmax函數會導致預測向量的錯誤求和，這會影響預測的最終結果，DE-CapsNet模型使用了含有Sigmoid函數的分散動態路由對膠囊網絡進行了改進，在圖像分類領域數據集CIFAR-10和F-MNIST現出非常好的性能，但在知識圖譜補全領域并沒有得到應用。

發明內容

為克服上述現有技術的不足，本發明提供了一種基于多尺度分散動態路由的知識圖譜補全方法及系統，在知識圖譜預測時對實體之間潛在的依賴關系進行有效建模，盡可能地減少預測時動態路由造成的偏差，捕獲不同抽象層次的特征，從而提高知識圖譜預測補全的準確度。

為實現上述目的，本發明的一個或多個實施例提供了如下技術方案：

本發明第一方面提供了基于多尺度分散動態路由的知識圖譜補全方法；

基于多尺度分散動態路由的知識圖譜補全方法，包括：