[發明專利]一種深度強相關哈希學習的大規模圖像檢索方法

有效

• 申請號: 201911321749.5
• 申請日: 2019-12-20
• 公開（公告）號: CN111125411B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 黃青松;單文琦;劉利軍;馮旭鵬
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/55;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種深度強相關哈希學習的大規模圖像檢索方法，其特征在于：所述深度強相關哈希學習的大規模圖像檢索方法的具體步驟如下：

Step1、從圖像數據集中抽取數據構成訓練圖像數據，其次對圖像進行預處理操作，輸入圖像經過卷積子網絡，把圖像信息映射到特征空間中，得到一個局部式特征表示；

Step2、再經過全連接層，把上層得到的局部式特征表示映射到樣本標記空間中，再進入哈希層進行降維及哈希編碼；

Step3、再進入強相關損失層，利用強相關損失函數計算出當前迭代的損失值；最后返回損失值，根據損失值更新網絡參數，驅動模型的訓練；

Step4、通過深度強相關哈希模型學習到目標區域的特征表示和相應的哈希碼；分別輸入圖像庫圖像和待檢索圖像得到一個哈希碼特征庫和待檢索圖像的哈希碼，再比較待檢索圖像的哈希碼與特征庫中的哈希碼之間的漢明距離完成檢索的部分；

所述步驟Step3的具體步驟如下：

Step3.1、強相關損失層從Step2.2接收一個1×1×N的特征矩陣，N＝哈希碼位數，通過強相關損失函數計算得到一個1×1×L的特征矩陣，L＝類別數，將強相關損失層分為損失層1和損失層2；其中，損失層1為通過強相關損失函數得到1×1×L的特征矩陣，損失層2為利用損失層1得到的特征矩陣計算損失值；

Step3.2、假定，當前樣本的真實標簽為i，其它標簽為j；強相關損失層的輸入為哈希層的輸出，記為x，x的維度為1×K；進入損失層1，通過設計的強相關損失函數式，其中，m、β為超參數，m的取值為正整數，β∈(0,1)，w_ki,w_kj屬于權重矩陣W，W的維度為K×L，α_i,α_j為權重相關系數，z_i表示當前樣本的真實標簽對應的值，z_j為其余標簽對應的值；得到損失層1的輸出矩陣，記為Z，Z的維度為1×L，L＝類別數；

Step3.3、由Step3.2得到的輸出矩陣進入損失層2，通過交叉熵函數計算損失值，公式如下所示：

z_i、z_j來自Z；

Step3.4、利用強相關損失層得到的損失值能夠進行反向傳播，驅動網絡的訓練。

2.根據權利要求1所述的深度強相關哈希學習的大規模圖像檢索方法，其特征在于：所述步驟Step1的具體步驟如下：

Step1.1、使用CIFAR-10數據集，其包含60000張尺寸為32x32的彩色圖像，為了節省訓練時間，將圖像尺寸轉換成128x128進行訓練；

Step1.2、數據共有十個類別，每個類別擁有6000張圖像，為了更好地訓練模型及評估性能，從每個類別隨機抽取1000張圖像作為驗證集，再隨機抽取1000張圖像做為檢索測試集，剩余的4000張圖像作為訓練集；

Step1.3、輸入圖像依次經過五個卷積層，即卷積子網絡，把圖像信息映射到特征空間中，得到一個局部式特征表示。

3.根據權利要求1所述的深度強相關哈希學習的大規模圖像檢索方法，其特征在于：所述步驟Step2的具體步驟如下：

Step2.1、再經過全連接層6以及全連接層7，把得到的局部式特征表示映射到樣本標記空間中，其中全連接層6的輸出特征矩陣為1×1×4096，全連接層7的輸出特征矩陣為1×1×4096；

Step2.2、得到的輸出特征矩陣再進入哈希層進行降維及哈希編碼，哈希層輸出N維的圖像特征，N為設置的哈希碼位數；

Step2.3、通過Step2.2得到一個松弛哈希碼特征庫，根據下式其中s(x)由sigmoid函數得出，將松弛的哈希碼轉換成二分哈希碼，得到一個二分哈希碼特征庫。

4.根據權利要求3所述的深度強相關哈希學習的大規模圖像檢索方法，其特征在于：所述步驟Step4的具體步驟如下：

Step4.1、待檢索圖像通過深度強相關哈希模型得到相應的松弛哈希碼，再將松弛哈希碼轉換為二分哈希碼，使用完整的二分哈希碼進行圖像檢索；

Step4.2、采用漢明距離來衡量待檢索圖像的二分哈希碼與Step2.3得到的特征庫中的二分哈希碼之間的相似度，再比較待檢索圖像的哈希碼與特征庫中的哈希碼之間的漢明距離完成檢索的部分。