[發明專利]多模態知識圖譜的補全方法、裝置和電子設備

在審

• 申請號: 202210158488.5
• 申請日: 2022-02-21
• 公開（公告）號: CN114564593A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 周景博;許德容;夏源;劉吉;竇德景
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 杜月

1.一種多模態知識圖譜的補全方法，包括：

對多模態知識圖譜進行特征提取，獲取各模態的第一特征向量；

對各模態進行兩兩分組，并對任一組內兩個模態的所述第一特征向量進行語義信息提取和替換，獲取所述任一組兩個模態各自的第二特征向量；

對每個分組對應的所述第二特征向量進行融合，獲取多模態聯合特征向量；

基于所述多模態聯合特征向量，對所述多模態知識圖譜進行補全，獲取目標多模態知識圖譜。

2.根據權利要求1所述的方法，其中，所述對任一組內兩個模態的所述第一特征向量進行語義信息提取和替換，獲取所述任一組兩個模態各自的第二特征向量，包括：

對所述任一組內兩個模態的所述第一特征向量進行協同注意力的語義信息提取，獲取所述兩個模態各自的候選特征向量；

從所述兩個模態的所述候選特征向量中，篩選出需要進行語義信息替換的目標特征元素；

確定所述目標特征元素在所述候選特征向量中的位置，基于所述位置進行同位置語義信息替換，獲取所述第二特征向量。

3.根據權利要求2所述的方法，其中，所述對所述任一組內兩個模態的所述第一特征向量進行協同注意力的語義信息提取，獲取所述兩個模態各自的候選特征向量，包括：

將所述任一組內兩個模態的所述第一特征向量分別與各自的權重參數相乘，得到所述兩個模態各自的加權特征向量，并對所述兩個模態的加權特征向量進行向量外積相乘，獲取親和矩陣；

對所述親和矩陣按行和列分別進行伸縮變換，以獲取第一矩陣和第二矩陣；

根據所述兩個模態的所述第一特征向量、所述第一矩陣和所述第二矩陣，獲取所述兩個模態各自的候選特征向量。

4.根據權利要求2所述的方法，其中，所述從所述兩個模態的所述候選特征向量中，篩選出需要進行語義信息替換目標特征元素，包括：

獲取所述候選特征向量中每個特征元素的語義信息；

選取所述語義信息小于預設的替換因子的特征元素，作為所述目標特征元素。

5.根據權利要求2或4所述的方法，其中，所述基于所述位置進行同位置語義信息替換，包括：

針對所述任一組，基于組內其中一個候選特征向量中所述目標特征元素的位置，獲取組內另一候選特征向量中所述位置上待替換特征元素；

將所述目標特征元素的語義信息替換為所述待替換特征元素的語義信息。

6.根據權利要求1所述的方法，其中，所述對任一組內兩個模態的所述第一特征向量進行語義信息提取和替換，獲取所述任一組兩個模態各自的第二特征向量，包括：

對所述任一組內兩個模態的所述第一特征向量并行地進行多次語義信息提取和替換，獲取所述兩個模態的多個候選第二特征向量；

將所述多個候選第二特征向量進行拼接，獲取所述兩個模態各自的第二特征向量。

7.根據權利要求1所述的方法，其中，所述對每個分組對應的所述第二特征向量進行融合，獲取多模態聯合特征向量，包括：

將所述第二特征向量與預設線性映射的矩陣相乘和歸一化處理，獲取第三特征向量；

對所述兩個模態的所述第三特征向量之間進行逐元素相乘，獲取所述任一組對應的第四特征向量；

對每個分組的所述第四特征向量進行逐元素相乘，得到所述多模態聯合特征向量。

8.根據權利要求1-7任一項所述的方法，其中，所述基于所述多模態聯合特征向量，對所述多模態知識圖譜進行補全，獲取目標多模態知識圖譜，包括：

獲取所述多模態知識圖譜的頭實體嵌入向量和關系嵌入向量；

根據所述多模態聯合特征向量、所述頭實體嵌入向量和所述關系嵌入向量，預測出所述多模態知識圖譜頭實體對應的尾實體；

基于所述頭實體對應的所述尾實體，對所述多模態知識圖譜進行補全，獲取所述目標多模態知識圖譜。