[發明專利]融合實體鄰居的知識補全方法及系統

有效

• 申請號: 202111158954.1
• 申請日: 2021-09-30
• 公開（公告）號: CN113836319B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 汪璟玢;雷晶
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F18/25;G06N3/0464;G06N3/045;G06N3/044;G06N3/048;G06N3/08;G06N5/02
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

本發明涉及一種融合實體鄰居的知識補全方法及系統，該方法構建基于Triplet注意力的循環卷積神經網絡模型CCTA，其按如下方法進行知識補全：首先，從文本描述和拓撲鄰居中收集得到實體鄰居并對其進行編碼，結合實體名稱信息進一步增強語義，生成實體的融合表示；然后，將得到的融合表示和關系表示進行特征重排和特征重塑；而后，使用Triplet注意力捕獲跨維度交互來計算注意力，再通過循環卷積操作提取實體和關系的交互特征，得到特征圖；最后，將特征映射拉平，再通過一個全連接層映射到實體嵌入維度，與尾實體矩陣進行點積歸一化后得到三元組的評分。該方法及系統有利于提升知識補全的性能。

技術領域

本發明屬于知識圖譜領域，具體涉及一種融合實體鄰居的知識補全方法及系統。

背景技術

知識表示學習旨在將知識圖譜中的實體和關系映射到低維稠密的向量空間，便于計算它們之間的語義關系和發現更深層次的語義聯系。該技術可顯著提升計算效率和緩解數據稀疏問題，能大大提升知識補全和知識推理等下游任務的質量。根據模型是否融合外部信息，可以將現有模型劃分為基于結構的知識圖譜補全模型和融合外部信息的知識圖譜補全模型。

受word2vec中平移不變現象的啟發，TransE將關系視為頭實體到尾實體的一種平移變換，即h+r≈t，其中h、r、t分別是頭實體、關系、尾實體的嵌入表示。在歐拉恒等式e^iθ＝cosθ+isinθ的啟發下，Sun等人提出了基于旋轉的RotatE模型，取得了先進的效果。DistMult通過將多關系矩陣限制為對角矩陣來進行多關系表示學習。ComplEx將DistMult模型拓展到復數空間，對不對稱關系進行建模。ConvE是首個將卷積神經網絡用于表示學習的模型，InteractE在ConvE的基礎上增加了實體和關系之間的交互，并利用循環卷積進行卷積操作，大大增強了ConvE的表現力。近年來，很多工作會結合比三元組更為豐富的結構信息來增強實體表示，比如鄰居。LENA利用注意力機制來選擇圖鄰域中的相關信息，從而抑制鄰域中的無關信息。A2N自適應地結合了一個實體的相關圖鄰域，從而獲得更準確的知識補全。R-GCN通過引入關系數據圖卷積神經網絡來處理圖結構中不同邊關系對節點的影響。

在融合外部信息方面，已經有一些研究工作，但總體來講還處于初期狀態。DKRL提出在知識表示學習中考慮知識庫中提供的實體描述信息。DKRL考慮了2種模型：一種是使用連續詞袋CBOW，將文本中的詞向量簡單相加作為文本表示；一種是使用卷積神經網絡，能夠考慮文本中的詞序信息。KG-BERT利用預訓練模型BERT將更豐富的上下文表示結合到模型中。Veira等人介紹了一種無監督的方法，該方法通過使用關聯詞的嵌入來增強實體嵌入來合并文本信息。

現有的基于結構的知識表示學習方法在知識庫補全工作上取得了顯著的成功，但是這類模型僅利用知識圖譜的結構信息進行表示學習，忽略了豐富的外部信息，不可避免地會受到知識庫的稀疏性和不完整性的影響。這類模型要學習到更好的知識表示取決于模型的復雜性，這是僅依賴知識圖譜結構信息的模型所存在的局限性。于是一些模型通過引入拓撲鄰居來更好地表示實體，但也存在一些問題。R-GCN為每個實體分配一個鄰接矩陣，對于實體數量龐大的大數據集而言，將會導致巨大的內存開銷，對于只有一兩個鄰居甚至沒有鄰居的實體，由于實體個數遠大于鄰居個數，R-GCN中鄰接矩陣的使用會導致內存空間的浪費。GMatching在結合拓撲鄰居時限制了鄰居個數，這在一定程度上解決了拓撲鄰居不平衡的問題，但是對于鄰居多達數百個的實體，GMathing通過隨機抽樣選擇鄰居，這種隨機選擇會有很大概率選中相關性不大的鄰居。