[發明專利]多模態知識圖譜的補全方法、裝置和電子設備

在審

• 申請號: 202210158488.5
• 申請日: 2022-02-21
• 公開（公告）號: CN114564593A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 周景博;許德容;夏源;劉吉;竇德景
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 杜月

本公開提供了多模態知識圖譜的補全方法、裝置和電子設備，涉及涉及數據處理技術領域，尤其涉及深度學習等技術領域。具體實現方案為：對多模態知識圖譜進行特征提取，獲取各模態的第一特征向量；對各模態進行兩兩分組，并對任一組內兩個模態的第一特征向量進行語義信息提取和替換，獲取任一組兩個模態各自的第二特征向量；對每個分組對應的第二特征向量進行融合，獲取多模態聯合特征向量；基于多模態聯合特征向量，對多模態知識圖譜進行補全，獲取目標多模態知識圖譜。本公開實施例中，可以挖掘多模態之間的共同特征，進而通過信息交換減少冗余，跨模態共同學習重要的語義信息，充分利用了多模態信息，提升了知識圖譜補全的性能。

技術領域

本公開涉及數據處理技術領域，尤其涉及深度學習等技術領域。

背景技術

相關技術中，一般利用知識圖譜中的結構信息對知識圖譜進行補全，或基于文本/圖片信息加強實體的表征，從而對知識圖譜進行補全，這種補全方法對多模態信息挖掘不足，可能導致關系缺失性的問題，使得補全知識圖譜的準確性不高，因此，如何充分利用多模態信息，提升知識圖譜補全的準確性，已經成為重要的研究方向之一。

發明內容

本公開提供了一種多模態知識圖譜的補全方法、裝置和電子設備。

根據本公開的一方面，提供了一種多模態知識圖譜的補全方法，包括：

對多模態知識圖譜進行特征提取，獲取各模態的第一特征向量；

對各模態進行兩兩分組，并對任一組內兩個模態的第一特征向量進行語義信息提取和替換，獲取任一組兩個模態各自的第二特征向量；

對每個分組對應的第二特征向量進行融合，獲取多模態聯合特征向量；

基于多模態聯合特征向量，對多模態知識圖譜進行補全，獲取目標多模態知識圖譜。

本公開實施例中，對任一組內兩個模態的第一特征向量進行語義信息提取和替換，可以挖掘出分子結構信息與文本描述信息之間的共同特征，進而通過信息交換減少冗余，跨模態共同學習重要的語義信息。對每個分組對應的第二特征向量進行融合，減少了模態之間的差異性，基于多模態聯合特征向量，對多模態知識圖譜進行補全，充分利用了多模態信息，提升了知識圖譜補全的準確性。

根據本公開的另一方面，提供了一種多模態知識圖譜補全模型的訓練方法，包括：

獲取樣本多模態知識圖譜及其對應的樣本三元組；

基于樣本多模態知識圖譜對多模態知識圖譜補全模型進行訓練，以獲取樣本多模態知識圖譜的補全多模態知識圖譜，以及補全多模態知識圖譜的預測三元組；

根據樣本三元組和預測三元組對多模態知識圖譜補全模型進行調整，并返回使用下一樣本多模態知識圖譜繼續訓練，直至訓練結束獲取目標多模態知識圖譜補全模型；其中，任一三元組包括頭實體、尾實體以及頭實體和尾實體之間的關系。

本公開實施例中，基于多模態聯合特征向量，對多模態知識圖譜進行補全，充分利用了多模態信息，基于正樣本和負樣本訓練多模態知識圖譜補全模型，提升了知識圖譜補全的準確性，解決了無法適應分子結構信息，無法顯性地利用到模態之間共有的特征的問題，能夠極大地提升多模態知識圖譜補全的性能。

根據本公開的另一方面，提供了一種多模態知識圖譜的補全方法，包括：

將待補全的多模態知識圖譜輸入訓練后的多模態知識圖譜補全模型中，以獲取補全后的目標多模態知識圖譜；

其中，多模態知識圖譜補全模型采用如上述的多模態知識圖譜補全模型的訓練方法進行訓練。

根據本公開的另一方面，提供了一種多模態知識圖譜的補全裝置，包括：

第一獲取模塊，用于對多模態知識圖譜進行特征提取，獲取各模態的第一特征向量；