[發明專利]一種多模態數據的跨模態檢索方法、裝置、設備及介質

有效

• 申請號: 201910871966.5
• 申請日: 2019-09-16
• 公開（公告）號: CN110597878B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 劉文印;康培培;王崎;林澤航;徐凱;楊振國
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N3/045
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郄晨芳

1.一種多模態數據的跨模態檢索方法，其特征在于，包括：

將不同模態的訓練樣本數據分批次輸入至與各模態分別對應的深度神經網絡中，得到各所述訓練樣本數據的樣本數據特征；其中，所述模態的數量大于或等于2；

分別將各所述樣本數據特征映射至共同空間中，根據同一類別的不同模態的各所述訓練樣本數據的類內低秩損失約束和語義一致約束計算出對應的損失函數；

利用所述損失函數調整所述深度神經網絡的網絡參數，確定出目標特征提取模型；

在獲取到不同模態的目標數據和待檢索數據后，調用所述目標特征提取模型進行跨模態檢索操作，得出與所述目標數據對應的待檢索數據的檢索排序結果；

所述利用所述損失函數調整所述深度神經網絡的網絡參數，確定出目標特征提取模型具體包括：

在每次計算出損失函數后，利用所述損失函數調整所述深度神經網絡的所述網絡參數，得到更新的深度神經網絡；

將檢測樣本數據輸入至所述更新的深度神經網絡中，得到所述檢測樣本數據的檢測樣本數據特征；其中，所述檢測樣本數據包括目標樣本數據和多個待檢索樣本數據；

計算所述目標樣本數據與各所述待檢索樣本數據在所述共同空間的樣本距離；

根據各所述樣本距離計算出對應的檢索準確率；

根據多次得出的所述檢索準確率中的最高檢索準確率確定出所述目標特征提取模型；

所述分別將各所述樣本數據特征映射至共同空間中，根據同一類別的不同模態的各所述訓練樣本數據的類內低秩損失約束和語義一致約束計算出對應的損失函數具體包括：

將各所述樣本數據特征按照預設批次分別映射至共同空間中，得到各批次的所述訓練樣本數據x_m,j在所述共同空間中的共同空間表示s_m,j；

其中，x_m,j(m＝1,2,...,M；j＝1,2,...,bz)表示第m個模態的第j個訓練樣本數據；M表示模態總數，bz為單個批次中的訓練樣本數據的數據量；s_m,j為x_m,j的共同空間表示；

利用類內低秩損失約束函數計算出單個批次中不同模態的共同空間表示的類內低秩損失約束：

其中，表示單個批次中類別為c的訓練樣本數據對應的共同空間表示所組成的矩陣；γ＝bz/k表示單個批次中數據類別的數量，bz表示單個批次中的訓練樣本數據的數據量，k表示單個批次中每個數據類別對應的訓練樣本數據的數據量；

利用交叉熵損失函數計算出單個批次中不同模態的共同空間表示的語義一致約束：

其中，class表示類別索引；C表示總類別數；

根據所述類內低秩損失約束和所述語義一致約束計算出所述損失函數：

L'＝L'_CE+α'L'_IL；

其中，α'表示單個批次中的所述類內低秩損失約束和所述語義一致約束的平衡參數。

2.根據權利要求1所述的方法，其特征在于，所述根據多次得出的所述檢索準確率中的最高檢索準確率確定出所述目標特征提取模型具體為：

比較當次的檢索準確率與記錄的最高檢索準確率的大小關系；

若所述當次的檢索準確率大于所述記錄的最高檢索準確率，則利用所述當次的檢索準確率更新所述記錄的最高檢索準確率；

若所述當次的檢索準確率小于所述記錄的最高檢索準確率，則將所述記錄的最高檢索準確率對應的深度神經網絡設置為所述目標特征提取模型。