[發明專利]一種基于哈希算法和鄰域圖的跨模態檢索方法及裝置

在審

• 申請號: 202011224930.7
• 申請日: 2020-11-05
• 公開（公告）號: CN112199531A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 杜翠鳳;蔣仕寶;孫廣波;朱春榮
• 申請（專利權）人: 廣州杰賽科技股份有限公司;廣州杰賽通信規劃設計院有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發明公開了一種基于哈希算法和鄰域圖的跨模態檢索方法及裝置，檢索方法包括：獲取多模態原始樣本，對多模態原始樣本經過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值；根據協同矩陣分解方法學習多模態原始樣本之間的潛在關聯，并根據潛在關聯計算得到多模態原始樣本的模態間的語義一致性；采用鄰域圖的流行學習，計算得到多模態原始樣本的模態內的語義一致性；將最小化殘差值、模態間的語義一致性和模態內的語義一致性，結合避免過度擬合的正則化計算得到目標函數。本發明實施例通過綜合考慮多模態的全局特征和模態間的局部特征，計算得到用于跨模態檢索的目標函數，以實現提高跨模態檢索的全面性和準確性。

技術領域

本發明涉及檢索技術領域，尤其是涉及一種基于哈希算法和鄰域圖的跨模態檢索方法及裝置。

背景技術

信息技術的快速發展帶來了多模態數據的爆炸式增長，包括圖像、音頻、文本、視頻等多源異構數據。由于模態之間的語義表示存在異構的差異，因此，高效的多模態的檢索成為當前多模態融合的關鍵問題之一。現有技術對于多模態檢索大多數利用哈希算法來實現，哈希算法將多模態數據映射到統一的潛在空間上，通過哈希函數對特征向量進行量化得到的哈希碼從而實現多模態空間的對齊。但是本申請人在研究中發現，現有的跨模態檢索方法沒有考慮同一個模態內樣本之間的相似性以及模態之間的相似性，導致跨模態檢索的效果較差。

發明內容

本發明提供一種基于哈希算法和鄰域圖的跨模態檢索方法及裝置，以解決現有的跨模態檢索方法沒有考慮同一個模態內樣本之間的相似性以及模態之間的相似性，導致跨模態檢索的效果較差的技術問題。

本發明的第一實施例提供一種基于哈希算法和鄰域圖的跨模態檢索方法，包括：

獲取多模態原始樣本，對所述多模態原始樣本經過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值；

根據協同矩陣分解方法學習所述多模態原始樣本之間的潛在關聯，并根據所述潛在關聯計算得到所述多模態原始樣本的模態間的語義一致性；

采用鄰域圖的流行學習，計算得到所述多模態原始樣本的模態內的語義一致性；

將所述最小化殘差值、所述模態間的語義一致性和所述模態內的語義一致性，結合避免過度擬合的正則化計算得到目標函數。

進一步地，所述獲取多模態原始樣本，對所述多模態原始樣本經過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值，具體為：

通過設置所述多模態樣本中的每一樣本對應的哈希碼得到訓練集的哈希碼集，將所述哈希碼集以及預設的語義標簽矩陣根據誤差最小化的原則，得到所述多模態原始樣本的最小化殘差值。

進一步地，所述根據協同矩陣分解方法學習所述多模態原始樣本之間的潛在關聯，并根據所述潛在關聯計算得到所述多模態原始樣本的模態間的語義一致性，具體為：

通過對所述多模態原始樣本進行特征提取，得到圖像基本特征矩陣和文本基本特征矩陣；根據所述圖像基本特征矩陣和所述文本基本特征矩陣計算得到模態間的語義一致性。

進一步地，所述采用鄰域圖的流行學習，計算得到所述多模態原始樣本的模態內的語義一致性，具體為：

構造同一模態數據之間的鄰域圖表示樣本的局部關系，根據所述鄰域圖以及所述圖像基本特征矩陣和所述文本基本特征圖像計算得到所述多模態原始樣本的模態內的語義一致性。

進一步地，所述正則化項包括回歸系數矩陣、樣本噪音矩陣、所述圖像基本特征矩陣和所述文本基本特征矩陣。

本發明的第二實施例提供了一種基于哈希算法和鄰域圖的跨模態檢索裝置，包括：

最小化處理模塊，用于獲取多模態原始樣本，對所述多模態原始樣本經過特征變換前后得到的殘差值進行最小化處理，得到最小化殘差值；