[發(fā)明專利]一種基于深度哈希的類別失衡圖像分層檢索方法

在審

• 申請?zhí)枺?/td>: 202210571972.0
• 申請日: 2022-05-24
• 公開（公告）號: CN115080781A
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計）人: 李冰;趙生捷;姚晗
• 申請（專利權(quán)）人: 同濟大學(xué)
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08;G06V10/40;G06V10/764;G06V10/774
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 宣慧蘭

1.一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，具體包括以下步驟：

S1、獲取訓(xùn)練數(shù)據(jù)集輸入到網(wǎng)絡(luò)模型的特征提取模塊，經(jīng)多個卷積層處理后得到圖像的高維特征向量；

S2、高維特征向量輸入到網(wǎng)絡(luò)模型的隱含層，隱含層根據(jù)高維特征向量來學(xué)習(xí)圖像的特征表示，同時輸出圖像對應(yīng)的近似哈希碼；

S3、近似哈希碼經(jīng)激活函數(shù)與量化處理后形成離散的二進制串，作為最終哈希碼輸入到隱含層的分類層中，分類層通過二次檢索方法計算出圖庫中對應(yīng)的圖像，完成分類模型的訓(xùn)練；

S4、將待檢索圖像輸入到完成訓(xùn)練的分類模型中，輸出待檢索圖像在圖庫中對應(yīng)的圖像。

2.根據(jù)權(quán)利要求1所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述隱含層的結(jié)構(gòu)具體為采用1*1卷積核和全局平均池化操作，或采用分塊全連接層的結(jié)構(gòu)。

3.根據(jù)權(quán)利要求2所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述1*1卷積核對高維特征向量進行降維操作，全局平均池化操作對特征圖進行壓縮，將生成的特征圖內(nèi)數(shù)據(jù)取均值作為輸出。

4.根據(jù)權(quán)利要求2所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述分塊全連接層對高維特征向量的處理過程具體為將高維特征向量分為多個特征片段，每個特征片段通過一個全連接層生成輸出結(jié)點，公式如下：

fc_i(x⁽ⁱ⁾)＝W_ix⁽ⁱ⁾

其中，x⁽ⁱ⁾為特征片段，W_i為對應(yīng)的參數(shù)矩陣，fc_i為輸出結(jié)點的特征值。

5.根據(jù)權(quán)利要求1所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述步驟S3中計算最終哈希碼的公式如下所示：

其中，為最終哈希碼對應(yīng)的二進制串，σ為Tanh激活函數(shù)，f(x)為近似哈希碼，W^h和b^h為過程參數(shù)。

6.根據(jù)權(quán)利要求1所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述分類層中設(shè)有損失函數(shù)，所述損失函數(shù)中增加少樣本類別在訓(xùn)練中所對應(yīng)的損失權(quán)重，并且減少易區(qū)分樣本對應(yīng)的損失權(quán)重。

7.根據(jù)權(quán)利要求6所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述損失函數(shù)的公式如下所示：

其中，Loss(p,q)為交叉熵損失函數(shù)，N為類別數(shù)，p為標簽對應(yīng)的獨熱碼向量，q為神經(jīng)網(wǎng)絡(luò)輸出后經(jīng)過softmax層輸出的概率，下標i表示第i個樣本，下標k表示真實標簽，α為權(quán)重因子，β為調(diào)節(jié)因子。

8.根據(jù)權(quán)利要求7所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述調(diào)節(jié)因子的計算公式如下所示：

β＝(1-q_i)^γ

其中，γ為超參數(shù)并且γ≥0。

9.根據(jù)權(quán)利要求6所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述網(wǎng)絡(luò)模型在訓(xùn)練時以原始網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的結(jié)果作為新網(wǎng)絡(luò)中原有層的初始參數(shù)，隨機初始化隱含層的參數(shù)值，根據(jù)損失函數(shù)計算得到的損失值，采用反向傳播算法在新的數(shù)據(jù)集上進行訓(xùn)練，利用隨機梯度下降方法最小化損失值。

10.根據(jù)權(quán)利要求1所述的一種基于深度哈希的類別失衡圖像分層檢索方法，其特征在于，所述步驟S3中二次檢索方法的過程具體為第一步根據(jù)最終哈希碼對圖像庫進行檢索，第二步根據(jù)特征向量對圖像庫進行檢索，綜合兩步的結(jié)果得到最終檢索出的目標圖像。