[發明專利]一種基于自適應量化多模態哈希檢索方法及系統

有效

• 申請號: 201911229793.3
• 申請日: 2019-12-04
• 公開（公告）號: CN110990596B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 朱磊;鄭超群;石丹;崔慧
• 申請（專利權）人: 山東師范大學
• 主分類號: G06F16/43
• 分類號: G06F16/43;G06F16/432;G06F16/41;G06F16/901
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本公開提供了一種基于自適應量化多模態哈希檢索方法及系統，通過將異構模態轉換為具有投影一致性的多模態因子，來探索不同模態之間的關系；通過利用具有代表性的原型近似多模態因子，將同構潛在特征轉換為緊湊的哈希碼，提出了一種新的多模態自適應權重方案；根據不同的查詢內容自動計算適當的模態組合權值，可以建立不同模態之間的相關性，但不需要額外的超參數。在無監督自適應量化多模態哈希方法的基礎上，將其擴展到監督學習模式，利用樣本間語義標簽來指導投影學習過程，提高了哈希碼的識別能力，速度快，操作簡單，保證了學習效率。

技術領域

本公開涉及多模態檢索技術領域，特別涉及一種基于自適應量化多模態哈希的社交圖像檢索方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術，并不必然構成現有技術。

隨著信息技術的快速發展，多媒體數據的表現形式越來越多樣化，包括圖像、文本、視頻、音頻等。多模態數據爆炸式增長的同時，多模態檢索問題也越來越受到人們的關注。多模態哈希能夠將來自不同模態的多模態特征編碼成緊湊的二進制碼，有著檢索速度快，存儲開銷小，能夠有效的支持大規模圖像檢索的優點。根據哈希碼的產生方式不同，多模態哈希方法可以分為兩大類：基于投影的多模態哈希和基于量化的多模態哈希。基于投影的哈希首先通過模態間相關性的最大化將高維數據投影到一個連續的同構潛在空間中，然后通過樣本閾值化將同構嵌入量化為二進制哈希碼。基于量化的哈希主要關注如何生成一個由訓練數據中的代表性原型構成的碼本(Codebook)，其中每個代表性原型對應一個二進制代碼。

本公開發明人在研究中發現，盡管基于投影的哈希雖然取得了顯著的效果，但是采用投影和量化兩個步驟來學習統一的哈希碼過于簡化。一方面，通過線性哈希函數不能有效地保持數據的內部結構，另一方面，通過簡單的符號閾值化也不能保證最小的量化誤差，這導致大量的量化損失，因此無法很好地捕捉到具有復雜內在結構的數據特征。近年來，基于量化的哈希算法多側重于單模態哈希和跨模態哈希來建立具有鑒別能力的復雜數據關系模型，而對多模態哈希的關注較少。

目前現存的多模態哈希方法存在具有如下挑戰：

(1)與單模態和多模態哈希方法不同，利用多模態特征的互補性是學習多模態哈希碼的重要手段。然而，現有的多模態哈希方法都是采用固定權值來組合多個特征。它們采用權值參數來利用哈希學習中各視圖之間的互補性和一個額外的超參來平衡正則化項。在實現過程中，超參的調整過程是不現實和低效的，特別是在在線查詢階段，查詢的語義標簽是未知的。此外，固定的權重無法對變化非常快，而且非常動態的查詢樣本進行查詢。

(2)哈希學習本質上是一個離散優化問題。然而，現有的多模態哈希方法大多采用兩步松弛+舍入的哈希優化策略，該方法首先對離散約束條件進行松弛，求解近似連續值，然后通過閾值化計算二進制碼。這種松弛哈希優化策略會帶來顯著的量化誤差，并導致次優解出現。而且，現有的離散多模態哈希方法主要采用離散循環坐標下降法(DCC)，該方法必須對哈希碼進行逐位學習，這在處理大規模多模態數據時仍然非常耗時。

發明內容

為了解決現有技術的不足，本公開提供了一種基于自適應量化多模態哈希檢索方法及系統，通過利用有代表性的原型來學習判別哈希碼，能更好地逼近相鄰關系，并且訓練時間和存儲成本低，解決了現有技術中進行圖像檢索時存在的參數問題和放松優化的問題。

為了實現上述目的，本公開采用如下技術方案：

第一方面，本公開提供一種基于無監督自適應量化多模態哈希檢索方法，包括以下步驟：

獲取多模態檢索數據，構造訓練集、測試集和數據庫集，每個樣本均包括成對的圖像和文本兩個模態的數據；

將訓練集中的兩個模態的原始數據分別輸入到預先構建的深度特征提取模型中進行多模態提取，得到提取后的多模態特征；