[發明專利]一種多模態數據關聯方法和裝置

有效

• 申請號: 202010903165.5
• 申請日: 2020-09-01
• 公開（公告）號: CN112015955B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 陶曉明;段一平;李明哲;徐邁;鄧欣
• 申請（專利權）人: 清華大學;北京航空航天大學
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06N3/04;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

1.一種多模態數據關聯方法，其特征在于，包括：

獲取待處理數據，其中，所述待處理數據的類型包括：視頻數據，圖片數據和文本數據；

構建所述待處理數據的語義圖；

利用圖卷積網絡計算所述語義圖的表示向量；

基于所述表示向量，確定所述待處理數據的數據關聯結果；

其中，若所述待處理數據為所述視頻數據；構建所述待處理數據的語義圖，包括：

確定出所述待處理數據中的第一關鍵幀，其中，所述第一關鍵幀為包含語義的圖片幀；

基于所述第一關鍵幀的語義，確定出所述第一關鍵幀對應的預設語義節點符號，其中，所述預設語義節點符號包括：實體節點符號，關系節點符號，屬性節點符號，結構節點符號；

利用所述預設語義節點符號的連接關系，構建所述第一關鍵幀的語義序列圖；

對所述第一關鍵幀的語義序列圖進行合并，得到所述待處理數據的語義圖；

其中，若所述待處理數據為所述圖片數據；構建所述待處理數據的語義圖，包括：

將所述圖片數據確定為第二關鍵幀；

基于所述第二關鍵幀的語義，確定出所述第二關鍵幀對應的預設語義節點符號；

利用所述預設語義節點符號的連接關系，構建所述第二關鍵幀的語義序列圖；

將所述第二關鍵幀的語義序列圖確定為所述待處理數據的語義圖；

其中，若所述待處理數據為所述文本數據；構建所述待處理數據的語義圖，包括：

利用實體抽取和關系抽取，確定出所述待處理數據對應的預設語義節點符號；

利用所述預設語義節點符號的連接關系，構建所述待處理數據的語義序列圖；

根據所述待處理數據的語義序列圖，構建所述待處理數據的語義圖。

2.根據權利要求1所述的方法，其特征在于，對所述第一關鍵幀的語義序列圖進行合并，得到所述待處理數據的語義圖，包括：

對所述語義序列圖中的預設語義節點進行合并，得到所述待處理數據的語義圖。

3.根據權利要求2所述的方法，其特征在于，利用圖卷積網絡計算所述語義圖的表示向量，包括：

構建所述語義圖的嵌入矩陣，其中，所述嵌入矩陣包括：預設語義節點符號的嵌入矩陣，預設語義節點符號的連接關系的嵌入矩陣；

利用所述嵌入矩陣和所述圖卷積網絡，對預設語義節點的表示向量進行預設次數迭代，得到預設語義節點的初始表示向量；

確定出所述初始表示向量中目標表示向量，其中，所述目標表示向量為所述結構節點符號對應的初始表示向量；

將所述目標表示向量確定為所述語義圖的表示向量。

4.根據權利要求3所述的方法，其特征在于，基于所述表示向量，確定所述待處理數據的數據關聯結果，包括：

計算每個目標表示向量與預設表示向量之間的相似度，得到多個相似度；

確定出目標相似度，其中，所述目標相似度為所述多個相似度中相似度最高的預設數量個相似度；

將所述目標相似度對應的語義圖確定為所述待處理數據的數據關聯結果。