[發明專利]基于零樣本學習的跨模態哈希檢索方法及系統

在審

• 申請號: 202210726686.7
• 申請日: 2022-06-24
• 公開（公告）號: CN115098707A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 余國先;白振華;王峻;閆中敏;鹿旭東
• 申請（專利權）人: 山東大學
• 主分類號: G06F16/41
• 分類號: G06F16/41;G06F16/435;G06F16/483;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 祖之強

本發明提供了一種基于零樣本學習的跨模態哈希檢索方法及系統，獲取用戶上傳的文本數據和圖片數據；從獲取的文本數據和圖片數據中，提取數據的深度特征；將提取的深度特征量化為哈希碼，與數據庫中的數據進行比較，得出漢明距離排序，選擇用戶指定數量的數據作為檢索結果；本發明能夠實現新舊類別樣本的有效準確檢索，克服了現有哈希檢索系統的封閉性難題。

技術領域

本發明涉及數據檢索技術領域，特別涉及一種基于零樣本學習的跨模態哈希檢索方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術，并不必然構成現有技術。

隨著信息技術的發展以及多媒體數據的爆炸性增長，人們可以輕易獲取諸如文本、圖片、視頻等海量的多模態數據。面向互聯網的開放環境，如何根據用戶的需求從海量的多模態數據中進行快速精確的信息檢索至關重要。由于具有低存儲和高效查詢的優點，哈希學習方法已被廣泛地應用在大規模數據的檢索中，而跨模態哈希學習在多模態數據信息檢索中吸引了越來越多的關注。

跨模態哈希學習的主要目標是將高維的多模態數據以低維的二進制哈希碼的形式映射到統一的漢明空間中，同時要求學習到的哈希碼要保持原始數據的空間結構相似性，即在原始空間相似的數據在轉化為二進制哈希碼后也應該相似。

目前的跨模態哈希方法按照是否使用標簽數據可以分為兩類：有監督跨膜態哈希和無監督跨膜態哈希。無監督跨模態哈希方法不使用樣本的標記信息進行訓練，通常挖掘模態內與模態間數據的相似性與分布等信息指導哈希碼的生成；監督跨模態哈希方法通常利用樣本的內在屬性(例如標簽)以及結構化的信息指導哈希碼產生并使哈希碼保持跨模態相似度，因此表現一般要優于無監督的方法。

發明人發現，跨模態哈希方法已經取得了顯著的進展，但也面臨著許多問題，如需要大量標記信息、新類別識別效率低和模態數據匹配缺失等，使得數據的檢索效率和準確率均較低。

發明內容

為了解決現有技術的不足，本發明提供了一種基于零樣本學習的跨模態哈希檢索方法及系統，基于標簽補全的策略充分挖掘有標記樣本、部分標記樣本和無標記樣本之間的聯系，可以提高在有標簽缺失情況下的檢索性能；基于復合相似度與深度學習的圖片與文本特征提取網絡可以捕捉數據的深度特征，從而可以發掘數據之間的跨模態相似性；此外，基于類級別屬性向量的類別空間嵌入可以捕捉可見類與不可見類的聯系，可以對新類別實現更高效率的識別。

為了實現上述目的，本發明采用如下技術方案：

本發明第一方面提供了一種基于零樣本學習的跨模態哈希檢索方法。

一種基于零樣本學習的跨模態哈希檢索方法，包括以下過程：

獲取用戶上傳的文本數據和圖片數據；

從獲取的文本數據和圖片數據中，提取數據的深度特征；

將提取的深度特征量化為哈希碼，與數據庫中的數據進行比較，得出漢明距離排序，選擇用戶指定數量的數據作為檢索結果。

本發明第二方面提供了一種基于零樣本學習的跨模態哈希檢索系統。

一種基于零樣本學習的跨模態哈希檢索系統，包括：

數據獲取模塊，被配置為：獲取用戶上傳的文本數據和圖片數據；

數據特征提取模塊，被配置為：從獲取的文本數據和圖片數據中，提取數據的深度特征；

跨膜態檢索模塊，被配置為：將提取的深度特征量化為哈希碼，與數據庫中的數據進行比較，得出漢明距離排序，選擇用戶指定數量的數據作為檢索結果。

本發明第三方面提供了一種計算機可讀存儲介質，其上存儲有程序，該程序被處理器執行時實現如本發明第一方面所述的基于零樣本學習的跨模態哈希檢索方法中的步驟。