[發明專利]一種適于多模態知識圖譜的實體對齊方法及設備

有效

• 申請號: 202011551346.2
• 申請日: 2020-12-24
• 公開（公告）號: CN112287126B
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 趙翔;唐九陽;郭浩;曾維新;譚真;徐浩;張鑫
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/28;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 伍志祥

本發明公開了一種適于多模態知識圖譜的實體對齊方法及設備，所述方法包括以下步驟：獲取兩個多模態知識圖譜的數據；將各個模態的數據投影到雙曲空間；使用雙曲圖卷積神經網絡學習實體的結構特征和視覺特征；融合多模態特征；以雙曲空間中距離表示實體相似度；根據相似度進行實體識別對齊。本發明方法將歐幾里得表示擴展到雙曲面流形，并采用雙曲圖卷積網絡學習實體的結構表示；關于視覺信息，使用densenet模型生成圖像嵌入，并使用雙曲圖卷積網絡將其嵌入到雙曲線空間中；最后，在雙曲空間中合并結構嵌入和圖像嵌入以預測潛在的對齊方式，特別適用于多模態知識圖譜的實體對齊和融合中。

技術領域

本發明涉及自然語言處理中的知識圖譜技術領域，尤其涉及一種適于多模態知識圖譜的實體對齊方法及設備。

背景技術

近年來，知識圖譜（KG）已成為以RDF（Resource Description Framework，資源描述框架）三元組的形式表示事實知識的流行數據結構，它可以促進一系列下游的實際應用，例如問題解答，信息提取等。當前，現存大量的常見的KG（例如，DBpedia，YAGO，Google的Knowledge Vault）以及特定于某些領域的KG（例如醫藥和分子KGs）。同時，將多媒體信息整合到KG中的趨勢正在增長，以支持涉及多種模式下數據交互的跨模式任務，例如圖像和視頻檢索，視頻摘要，視覺實體消歧和視覺問題解答等。為此，最近已經建造了一些多模態知識圖譜（MMKG）。

在這項工作中，在不失一般性的前提下考慮了MMKG具有兩種模式，即KG結構信息和視覺信息。但是，現有的MMKG通常來自有限的數據源，因此可能會受到知識域覆蓋率較低的困擾。為了提高這些MMKG的覆蓋范圍，一種可行的方法是整合其他MMKG的有用知識。特別是，在不同的KG中識別等效實體是合并MMKG之間知識的關鍵步驟，因為實體是連接這些異構KG的錨節點。此過程也稱為多模式實體對齊（MMEA）。

MMEA是一項艱巨的任務，因為它需要對多模態信息進行建模和集成。利用KG結構信息，現有實體對齊（EA）接近可以直接用于為MMEA生成實體結構嵌入。這些方法通常利用基于TransE或基于圖卷積網絡GCN的模型來學習各個KG的實體表示，然后使用種子實體對表示進行訓練，以實現對潛在對齊的實體對的預測。然而，所有這些方法都在歐幾里得空間中學習實體表示，這在嵌入具有無標度或層次結構的真實世界圖時會導致較大的失真。

關于視覺信息，已經利用VGG（Visual Geometry Group）模型學習與實體關聯的圖像的嵌入，然后將其用于對齊。但是，VGG模型無法從圖像中充分提取有用的特征，從而限制了對齊的有效性。為提高MMEA模型的整體有效性，應仔細整合來自這兩種方式的信息。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明公開了一種適于多模態知識圖譜的實體對齊方法及設備，所述方法將歐幾里得表示擴展到雙曲面流形，并采用雙曲圖卷積網絡（HGCN，Hyperbolic Graph Convolutional Networks）學習實體的結構表示；關于視覺信息，使用densenet模型生成圖像嵌入，并使用HGCN將其嵌入到雙曲線空間中；最后，在雙曲空間中合并結構嵌入和圖像嵌入以預測潛在的對齊方式。

本發明公開了一種適于多模態知識圖譜的實體對齊方法，包括以下步驟：

步驟1，獲取兩個多模態知識圖譜和的數據；

步驟2，將各個模態的數據投影到雙曲空間；

步驟3，使用雙曲圖卷積神經網絡學習實體的結構特征和視覺特征；

步驟4，融合多模態特征；

步驟5，以雙曲空間中距離表示實體相似度；

步驟6，根據相似度進行實體識別對齊。