[發明專利]一種基于三元組網絡的深度哈希圖像檢索方法

在審

• 申請號: 202111448102.6
• 申請日: 2021-11-30
• 公開（公告）號: CN114168782A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 曹從軍;陳星;廖開陽;周建
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/53;G06F16/51;G06F16/55;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 劉娜

本發明公開了一種基于三元組網絡的深度哈希圖像檢索方法，具體為：采用三元組網絡作為CNN網絡進行圖像特征學習；根據特征學習的情況進行損失函數優化，使得同一類別的樣本圖像對在特征空間的距離小于不同類別之間的樣本圖像對，優化神經網絡模型；將查詢圖像與測試集圖像輸入三元組網絡，分別得到圖像的二進制哈希編碼和fc7層的深度特征向量，先利用二進制哈希編碼進行粗檢索，根據漢明距離大小和設定的閾值得到相似圖像的候選集圖像，再利用fc7層深度特征進行細檢索，計算查詢圖像與候選集圖像的fc7層特征向量的歐氏距離，根據歐氏距離由小到大的順序，得到最終n個檢索結果。本發明解決了現有技術中存在的圖像檢索精度不高的問題。

技術領域

本發明屬于計算機圖像檢索方法技術領域，涉及一種基于三元組網絡的深度哈希圖像檢索方法。

背景技術

近年來，哈希技術在大規模圖像檢索中應用廣泛，通過將圖像的高維特征轉換為低維空間的二進制哈希編碼，計算漢明距離來進行快速圖像檢索。該方法具有存儲開銷小，計算效率高的優點。傳統的哈希方法是先提取高維特征，對特征進行學習得到哈希函數，然后利用哈希函數映射將圖像高維特征轉化為低維空間哈希碼。隨著CNN的發展，出現了將CNN提取的深度特征與哈希學習相結合的深度哈希算法，能夠直接獲取代表圖像更深層信息的哈希編碼。然而現有的大多數深度哈希方法存在監督信息利用不足，無法獲取更加具有區分性的哈希編碼，從而訓練得到的模型沒有達到預期的效果，直接影響檢索結果精度。

因此，如何提供一種圖像檢索方法來提高哈希技術的檢索精度具有重要的價值。

發明內容

本發明的目的是提供一種基于三元組網絡的深度哈希圖像檢索方法，解決了現有技術中存在的圖像檢索精度不高的問題。

本發明所采用的技術方案是，一種基于三元組網絡的深度哈希圖像檢索方法，具體按照如下步驟實施：

步驟1，采用并列的三個Alexnet網絡模型為CNN網絡模型，并在每個Alexnet網絡模型的倒數第二個全連接層fc7層后添加隱藏層，即就是添加哈希層，且三個Alexnet網絡模型之間共享權重參數；

步驟2，選用圖像數據集CIFAR-10，將其劃分為訓練集和測試集，以訓練集圖像作為步驟1構建的CNN網絡模型的輸入圖像，每個輸入圖像均為一個三元組圖像，包括錨點圖像、正樣本圖像和負樣本圖像，其中正樣本圖像和錨點圖像為同一類別，負樣本圖像與錨點圖像為不同類別；

步驟3，將每個輸入圖像的錨點圖像、正樣本圖像和負樣本圖像分別輸入至一個Alexnet網絡模型中，錨點圖像、正樣本圖像和負樣本圖像分別在輸出fc7層和哈希層產生一個輸出fc7層的深度特征和一個代表圖像特征的初步哈希碼；

步驟4，為CNN網絡模型引入一個三元組損失函數，使用步驟3生成的初步哈希碼通過最小化三元組損失函數，使得錨點圖像、正樣本圖像在特征空間的距離小于錨點圖像和負樣本圖像在特征空間的距離，完成對CNN網絡模型的優化；

步驟5，將測試集圖像與查詢圖像輸入到步驟4優化的CNN網絡模型中對應輸入錨點圖像的Alexnet網絡模型中，得到對應的哈希編碼和fc7層深度特征，其中測試圖像和查詢圖像均為錨點圖像，計算查詢圖像與測試集圖像對應的二進制哈希編碼的漢明距離，根據設定的閾值，如果漢明距離小于閾值，則認為查詢圖像與測試集圖像相似，在測試集圖像中得到m個最相似的候選圖像集，然后計算查詢圖像向量與候選集圖像的深度特征向量的歐式距離，按照從小到大排序獲得最終的檢索結果，在候選圖像集中找到n個最相似的圖像，即就是查詢圖像最相似n圖像。

本發明的特征還在于，

圖像數據集CIFAR-10共60000張，訓練集分10類，每類5000張，測試集分10類，每類1000張。

步驟4中的使得錨點圖像、正樣本圖像在特征空間的距離小于錨點圖像和負樣本圖像在特征空間的距離，即就是：