[發明專利]多模態知識圖譜的實體對齊方法、裝置及存儲介質

有效

• 申請號: 202110686557.5
• 申請日: 2021-06-21
• 公開（公告）號: CN113360673B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 朱佳;黃昌勤;韓中美;李明
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/28
• 代理公司: 北京惠科金知識產權代理有限公司 11981
• 代理人: 賈婧琪

本發明公開了一種多模態知識圖譜的實體對齊方法、裝置及存儲介質。本發明通過獲取第一多模態知識圖譜和第二多模態知識圖譜的數據，從中提取需要對齊的實體；然后處理所述實體的多模態數據，得到所述實體的各模態向量，根據所述各模態向量，進行早期融合以及晚期融合；接著，對早期融合的結果和晚期融合的結果進行結合，得到多模態嵌入向量；最后，根據所述多模態嵌入向量執行實體對齊。通過使用本發明中的方法，能夠實現對多模態知識圖譜的實體對齊，解決了多模態知識表述之間不一致的問題。本發明可廣泛應用于知識圖譜技術領域內。

技術領域

本發明涉及知識圖譜技術領域，尤其是多模態知識圖譜的實體對齊方法、裝置及存儲介質。

背景技術

因為大多數知識圖譜是為了特定目的，并且是基于單語環境來構建的，這導致了同一概念在不同的知識圖譜中會出現不同表述的情況。而實體對齊的目的就是把兩個知識圖譜中表述不同但實際相同的實體篩選出來，以整合不同的知識圖譜。

由于知識形態多種多樣，目前嵌入技術尚不能很好處理多模態知識，為克服這一挑戰，近期研究者提出了各種模型，以融合知識圖譜中多模態信息，并形成聯合嵌入，讓對齊模型能自動調節模態權重。但是，這些研究并未考慮特征級別的模態相關性，當多模態之間的相關性相對較大時，很可能得不到滿意的結果。現有技術中存在的這些問題亟待解決。

發明內容

本發明的目的在于至少一定程度上解決現有技術中存在的技術問題之一。

為此，本發明實施例的一個目的在于提供多模態知識圖譜的實體對齊方法、裝置和介質，其能夠通過對多模態知識圖譜進行早期融合以及晚期融合，實現對多模態知識圖譜的實體對齊，解決了多模態知識表述之間不一致的問題。

為了達到上述技術目的，本發明實施例所采取的技術方案包括：

第一方面，本發明實施例提供了一種多模態知識圖譜的實體對齊方法，包括以下步驟：

多模態知識圖譜的實體對齊方法，其特征在于，包括以下步驟：

獲取第一多模態知識圖譜和第二多模態知識圖譜的數據；

分別從所述第一多模態知識圖譜和第二多模態知識圖譜中提取需要對齊的實體；

處理所述實體的多模態數據，得到所述實體的各模態向量，其中，所述多模態數據包括圖像數據、關系數據、屬性數據以及知識圖譜結構數據；所述各模態向量包括圖像嵌入向量、關系嵌入向量、屬性嵌入向量以及知識圖譜結構向量；

根據所述各模態向量，通過全連結神經網絡模型進行早期融合；

根據所述各模態向量，通過低秩多模態模型進行晚期融合；

對早期融合的結果和晚期融合的結果進行結合，得到多模態嵌入向量；

根據所述多模態嵌入向量執行實體對齊。

進一步地，所述處理所述實體的圖像數據，得到所述實體的圖像嵌入向量這一步驟，其具體包括：

采用預先訓練過的RESNET模型對所述獲取的圖像數據進行特征提取；

通過第一預設函數對所述提取特征進行處理，得到圖像嵌入向量。

進一步地，所述處理所述實體的關系數據，得到所述實體的關系嵌入向量這一步驟，其具體包括：

通過TransE模型將所述獲取的關系數據轉換成平移向量；

通過第二預設函數計算所述平移向量的結構相似性，得到邏輯回歸損失函數；

通過將所述邏輯回歸損失函數進行收斂，得到關系嵌入向量。

進一步地，所述處理所述實體的屬性數據，得到所述實體的屬性嵌入向量這一步驟，其具體包括：