[發明專利]跨模態的數據處理方法、裝置、存儲介質以及電子裝置

在審

• 申請號: 202011063096.8
• 申請日: 2020-09-30
• 公開（公告）號: CN112199375A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 董西偉;嚴軍榮;張小龍
• 申請（專利權）人: 三維通信股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06K9/62;G06N3/04
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

1.一種跨模態的數據處理方法，其特征在于，包括：

獲取第一模態的查詢數據；

分別確定所述第一模態的查詢數據與第二模態的檢索數據集合中每個第二模態的檢索數據之間的目標參數，以得到多個目標參數，其中，所述第二模態的檢索數據集合中包含多個所述第二模態的檢索數據，所述第二模態的檢索數據為將第二模態的原始數據輸入目標神經網絡模型后得到的數據，所述目標參數用于指示所述第一模態的查詢數據與所述第二模態的檢索數據的相似性，所述目標神經網絡模型是使用一組樣本對對初始神經網絡模型進行訓練得到的神經網絡模型，所述目標神經網絡模型包括基于初始注意力模型訓練得到第一模態注意力網絡模型和第二模態注意力網絡模型，以及用于保持第一模態和第二模態間數據一致性的模態一致性模型，所述一組樣本對中每個樣本對包括樣本數據以及對象特征數據，所述對象特征數據為通過圖像對象檢測方式得到的對象特征數據；

根據所述多個目標參數將一個或多個所述第二模態的檢索數據確定為與所述第一模態的查詢數據對應的目標數據。

2.根據權利要求1所述的方法，其特征在于，在獲取第一模態的查詢數據之前，所述方法還包括：

獲取跨模態數據集，其中，所述跨模態數據集包括訓練數據集和測試數據集；

使用所述訓練數據集訓練初始神經網絡模型，以得到目標神經網絡模型，其中，所述初始神經網絡模型包括基于注意力機制構建的初始對象注意力神經網絡模型以及初始模態一致性模型所述目標神經網絡模型用于為不同模態的數據學習哈希表示方式；

將所述測試數據集輸入所述目標神經網絡模型，得到第一模態數據和第二模態數據的相似度，其中所述相似度用于指示所述第一模態的數據與第二模態的數據之間的相似性；

基于所述相似度確定所述初始神經網絡模型中的預定參數，以更新所述目標神經網絡模型。

3.根據權利要求2所述的方法，其特征在于，獲取跨模態數據集，包括：

使用卷積神經網絡提取第一模態的特征數據集合；

使用長短期記憶神經網絡提取第二模態的特征數據集合；

將所述第一模態的特征數據集合中的部分特征數據以及所述第二模態的特征數據集合中的部分特征數據確定為所述訓練數據集；

將所述第一模態的特征數據集合以及所述第二模態的特征數據集合中除所述訓練數據集以外的其他特征數據確定為所述測試數據集。

4.根據權利要求2所述的方法，其特征在于，使用所述訓練數據集訓練初始神經網絡模型，以得到目標神經網絡模型，包括：

將所述訓練數據集中的第一模態的特征數據以及所述對象特征數據輸入所述第一模態注意力網絡模型進行訓練，得到訓練完成的第一模態注意力網絡模型，并將所述訓練數據集中的第二模態的特征數據以及所述對象特征數據輸入所述第二模態注意力網絡模型進行訓練，得到訓練完成的第二模態注意力網絡模型；

將所述訓練完成的第一模態注意力網絡模型以及所述第二模態注意力網絡模型確定為目標對象注意力神經網絡模型；

使用所述初始模態一致性模型基于所述第一模態的特征數據的語義信息以及所述第二模態的特征數據的語義信息對所述第一模態的特征數據以及所述第二模態的特征數據進行約束，以將所述初始模態一致性模型更新為目標模態一致性模型；

將所述目標對象注意力神經網絡模型以及所述目標模態一致性模型確定為所述目標神經網絡模型。