[發明專利]一種基于注意力機制的知識圖譜路徑可達性預測方法

在審

• 申請號: 202110244072.0
• 申請日: 2021-03-05
• 公開（公告）號: CN113051353A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 陸佳煒;朱昊天;王小定;鄭嘉弘;張元鳴;徐俊;肖剛
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/36;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于注意力機制的知識圖譜路徑可達性分析方法，括以下步驟：第一步、從知識庫中構建目標三元組，并獲得該三元組中頭實體h和尾實體t之間所有的路徑關系；第二步、進行關系編碼；第三步、進行實體類型編碼；第四步、重復第二步和第三步計算所有路徑模式組合成的全局路徑模式計算頭實體h、直接關系r和尾實體t組成的三元組的能量函數，計算直接關系r能否連接頭實體和尾實體的概率，將能量函數和能否鏈接的概率相乘，以此判斷這個三元組是否成立。本發明提高了對實體和關系的利用率，注意力機制提升了概率計算結果的精確性，提升了三元組表示成的向量的準確度，增加了預測實體間是否能相互連接的結果的準確度。

技術領域

本方法涉及一種基于注意力機制的知識圖譜路徑可達性分析方法。

背景技術

知識庫將人類知識組織成結構化的知識系統，它描述現實世界中實體(entity)間的關系(relation)。人們花費大量精力構建了各種結構化的知識庫，如語言知識庫WordNet、世界知識庫Freebase等。知識庫是推動人工智能學科發展和支撐智能信息服務應用(如智能搜索、智能問答、個性化推薦等)的重要基礎技術。為了改進信息服務質量，國內外互聯網公司(特別是搜索引擎公司)紛紛推出知識庫產品，如谷歌知識圖譜、微軟BingSatori、百度知心以及搜狗知立方等。著名的IBM Watson問答系統和蘋果Siri語音助理的背后，知識庫也扮演著重要角色。知識庫的興起拉開了智能信息檢索從字符串匹配躍遷至智能理解的序幕。

知識圖譜由Google公司于2012年6月正式提出，是一種基于圖的數據結構。知識圖譜是一種結構化的語義知識庫，以圖的形式來展現現實世界中各個實體及其相互之間的關系，并用形式化的方式來進行描述。知識圖譜的基本組成單元的通用表示形式是實體、“實體-關系-實體”三元組，以及實體的“屬性-值”對。知識圖譜以“實體-關系-實體”或“實體-屬性-屬性值”的三元組表達形式存儲，這些數據將構成可觀的實體關系網絡，即知識的“圖譜”。

表示學習的目標是，通過機器學習將研究對象的語義信息表示為稠密低維實值向量。知識表示學習是面向知識庫中實體和關系的表示學習，通過將實體或關系投影到低維向量空間，能夠實現對實體和關系的語義信息的表示，可以高效地計算實體、關系及其之間的復雜語義關聯。知識庫的表示學習旨在將實體和關系嵌入到一個低維空間中。大多數現有的方法在表示學習中只考慮直接關系，而PtransE提出了一種基于路徑的表示學習模型，它將關系路徑作為表示學習實體之間的轉換。但是它僅僅依賴于關系，并且直接使用特定實體信息，在推演多步關系時仍然存在一定局限性。

長短期記憶網絡(Long Short-Term Memory，LSTM)，最早由Hochreiter、Schmidhuber于1997年提出，該模型由于能更好地發現長期依賴關系而被廣泛用于處理時間序列信息。LSTM可以看作為特殊的RNN，其主要為解決長序列訓練過程中的梯度消失及梯度爆炸問題，能夠在更長的時間序列上依然表現優異。

發明內容

為了克服現有技術的不足，本發明提出了一種基于注意力機制的知識圖譜路徑可達性分析方法，對知識庫中三元組的關系和實體使用LSTM分別進行關系編碼和實體類型編碼，獲得相應的向量輸出，利用這些向量來計算頭實體和尾實體是否可以通過關系相互鏈接的概率，通過將三元組的能量函數與預測的可以相互鏈接的概率相乘的結果來判定這個三元組是否成立，從而預測知識圖譜中實體間的連接關系；提高了對實體和關系的利用率，注意力機制提升了概率計算結果的精確性，提升了三元組表示成的向量的準確度，增加了預測實體間是否能相互連接的結果的準確度。

為了解決上述技術問題本發明提供如下的技術方案：

一種基于注意力機制的知識圖譜路徑可達性分析方法，所述方法包括以下步驟：

第一步、從知識庫中構建目標三元組，并獲得該三元組中頭實體h和尾實體t之間所有的路徑關系；