[發明專利]多模態知識圖譜的實體對齊方法、裝置及存儲介質

有效

• 申請號: 202110686557.5
• 申請日: 2021-06-21
• 公開（公告）號: CN113360673B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 朱佳;黃昌勤;韓中美;李明
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/28
• 代理公司: 北京惠科金知識產權代理有限公司 11981
• 代理人: 賈婧琪

1.多模態知識圖譜的實體對齊方法，其特征在于，包括以下步驟：

獲取第一多模態知識圖譜和第二多模態知識圖譜的數據；

分別從所述第一多模態知識圖譜和第二多模態知識圖譜中提取需要對齊的實體；

處理所述實體的多模態數據，得到所述實體的各模態向量，其中，所述多模態數據包括圖像數據、關系數據、屬性數據以及知識圖譜結構數據；所述各模態向量包括圖像嵌入向量、關系嵌入向量、屬性嵌入向量以及知識圖譜結構向量；所述處理所述實體的多模態數據，得到所述實體的各模態向量，具體包括：

處理所述實體的圖像數據，得到所述實體的圖像嵌入向量；

處理所述實體的關系數據，得到所述實體的關系嵌入向量；

處理所述實體的屬性數據，得到所述實體的屬性嵌入向量；

處理所述實體的知識圖譜結構數據，得到所述實體的結構嵌入向量；

根據所述各模態向量，通過全連結神經網絡模型進行早期融合；

根據所述各模態向量，通過低秩多模態模型進行晚期融合；

對早期融合的結果和晚期融合的結果進行結合，得到多模態嵌入向量；

根據所述多模態嵌入向量執行實體對齊；具體為，基于所述多模態嵌入向量通過最近鄰搜索算法執行實體對齊；

其中，所述晚期融合包括：

通過低秩多模態融合模型化簡多模態融合的向量表示；

通過預設方式對所述向量表示進行化簡，如下式所示：

式中，h_l為化簡后的輸出向量，r為張量的秩，表示一系列張量的元素點積，為每個模態m的相應低秩因子，為不同模態的單模態信息的編碼，M為模態數量，i表示矩陣的第i條，約束條件是為了確保分解存在于可接受的范圍內的同時減少計算量。

2.根據權利要求1所述的多模態知識圖譜的實體對齊方法，其特征在于，所述處理所述實體的圖像數據，得到所述實體的圖像嵌入向量這一步驟，其具體包括：

采用預先訓練過的RESNET模型對所述獲取的圖像數據進行特征提取；

通過第一預設函數對所述提取特征進行處理，得到圖像嵌入向量。

3.根據權利要求1所述的多模態知識圖譜的實體對齊方法，其特征在于，所述處理所述實體的關系數據，得到所述實體的關系嵌入向量這一步驟，其具體包括：

通過TransE模型將所述獲取的關系數據轉換成平移向量；

通過第二預設函數計算所述平移向量的結構相似性，得到邏輯回歸損失函數；

通過將所述邏輯回歸損失函數進行收斂，得到關系嵌入向量。

4.根據權利要求1所述的多模態知識圖譜的實體對齊方法，其特征在于，所述處理所述實體的屬性數據，得到所述實體的屬性嵌入向量這一步驟，其具體包括：

通過前饋網絡將獲得的屬性數據映射到低維空間，得到屬性嵌入向量。

5.根據權利要求1所述的多模態知識圖譜的實體對齊方法，其特征在于，所述處理所述實體的知識圖譜結構數據，得到所述實體的結構嵌入向量這一步驟，其具體包括：

建立基于圖卷積網絡的半監督嵌入模型；

設置關系頂點；

通過所述半監督嵌入模型對所述關系頂點進行處理，得到結構嵌入向量。

6.根據權利要求2所述的多模態知識圖譜的實體對齊方法，其特征在于，所述早期融合具體包括：

建立全連結神經網絡模型；

通過所述全連結神經網絡模型將所述RESNET模型提取的所有特征進行融合。

7.根據權利要求1所述的多模態知識圖譜的實體對齊方法，其特征在于，對所述早期融合和所述晚期融合進行結合這一步驟，其具體包括：

根據預設損失函數通過協同訓練對所述早期融合和所述晚期融合進行結合。