[發(fā)明專利]一種基于三元組網(wǎng)絡的深度哈希圖像檢索方法

在審

• 申請?zhí)枺?/td>: 202111448102.6
• 申請日: 2021-11-30
• 公開（公告）號: CN114168782A
• 公開（公告）日: 2022-03-11
• 發(fā)明（設計）人: 曹從軍;陳星;廖開陽;周建
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/53;G06F16/51;G06F16/55;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 劉娜

1.一種基于三元組網(wǎng)絡的深度哈希圖像檢索方法，其特征在于，具體按照如下步驟實施：

步驟1，采用并列的三個Alexnet網(wǎng)絡模型為CNN網(wǎng)絡模型，并在每個Alexnet網(wǎng)絡模型的倒數(shù)第二個全連接層fc7層后添加隱藏層，即就是添加哈希層，且三個Alexnet網(wǎng)絡模型之間共享權重參數(shù)；

步驟2，選用圖像數(shù)據(jù)集CIFAR-10，將其劃分為訓練集和測試集，以訓練集圖像作為步驟1構建的CNN網(wǎng)絡模型的輸入圖像，每個輸入圖像均為一個三元組圖像，包括錨點圖像、正樣本圖像和負樣本圖像，其中正樣本圖像和錨點圖像為同一類別，負樣本圖像與錨點圖像為不同類別；

步驟3，將每個輸入圖像的錨點圖像、正樣本圖像和負樣本圖像分別輸入至一個Alexnet網(wǎng)絡模型中，錨點圖像、正樣本圖像和負樣本圖像分別在輸出fc7層和哈希層產(chǎn)生一個輸出fc7層的深度特征和一個代表圖像特征的初步哈希碼；

步驟4，為CNN網(wǎng)絡模型引入一個三元組損失函數(shù)，使用步驟3生成的初步哈希碼通過最小化三元組損失函數(shù)，使得錨點圖像、正樣本圖像在特征空間的距離小于錨點圖像和負樣本圖像在特征空間的距離，完成對CNN網(wǎng)絡模型的優(yōu)化；

步驟5，將測試集圖像與查詢圖像輸入到步驟4優(yōu)化的CNN網(wǎng)絡模型中對應輸入錨點圖像的Alexnet網(wǎng)絡模型中，得到對應的哈希編碼和fc7層深度特征，其中測試圖像和查詢圖像均為錨點圖像，計算查詢圖像與測試集圖像對應的二進制哈希編碼的漢明距離，根據(jù)設定的閾值，如果漢明距離小于閾值，則認為查詢圖像與測試集圖像相似，在測試集圖像中得到m個最相似的候選圖像集，然后計算查詢圖像向量與候選集圖像的深度特征向量的歐式距離，按照從小到大排序獲得最終的檢索結果，在候選圖像集中找到n個最相似的圖像，即就是查詢圖像最相似n圖像。

2.根據(jù)權利要求1所述的一種基于三元組網(wǎng)絡的深度哈希圖像檢索方法，其特征在于，所述圖像數(shù)據(jù)集CIFAR-10共60000張，訓練集分10類，每類5000張，測試集分10類，每類1000張。

3.根據(jù)權利要求1所述的一種基于三元組網(wǎng)絡的深度哈希圖像檢索方法，其特征在于，所述步驟4中的使得錨點圖像、正樣本圖像在特征空間的距離小于錨點圖像和負樣本圖像在特征空間的距離，即就是：

S(x_i,x_i⁺)S(x_i,x_i^-) (2)

等價于

S²(x_i,x_i⁺)S²(x_i,x_i^-) (3)

其中，x_i為錨點圖像，x_i⁺為正樣本圖像，即與x_i同一類別的樣本圖像，x_i^-為負樣本圖像，即與x_i不同樣類別的樣本圖像，S(x,x`)表示兩張圖像x和x`的相似性，即就是S(x_i,x_i⁺)為錨點圖像和正樣本圖像的相似性，S(x_i,x_i^-)錨點圖像和負樣本圖像的相似性，根據(jù)此將三元組損失函數(shù)定義如下：

loss(x_i,x_i⁺,x_i^-)＝max{0,g+S²(x_i,x_i⁺)-S²(x_i,x_i^-)} (4)

式中，loss(x_i,x_i⁺,x_i^-)代表三元組損失函數(shù)，其中，g為度量同類別圖像對與不同類別圖像對之間距離的閾值參數(shù)。