[發(fā)明專利]一種具有平衡相似性的余弦度量監(jiān)督深度哈希算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011443669.X
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112488231A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 毋立芳;陳禹錕;胡文進(jìn);簡(jiǎn)萌
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.一種具有平衡相似性的余弦度量監(jiān)督深度哈希算法，其特征在于包括以下步驟：

步驟1，建立圖像對(duì)的相似性矩陣S和圖像預(yù)處理：將數(shù)據(jù)集同一類的圖像視為相似，不同類的圖像不相似，得到相似性矩陣S；數(shù)據(jù)預(yù)處理采用當(dāng)前深度哈希算法的統(tǒng)一設(shè)定；

步驟2，建立深度網(wǎng)絡(luò)模型：選擇深度網(wǎng)絡(luò)模型，使用AlexNet,用哈希層替換最后的分類層用以獲得哈希碼；

步驟3，損失函數(shù)設(shè)計(jì)：為了保留圖像對(duì)的相似性信息，解決數(shù)據(jù)的不均衡與難易問(wèn)題和量化損失問(wèn)題，損失函數(shù)包括圖像對(duì)的相似性損失、生成哈希碼的量化損失；

步驟4，訓(xùn)練模型：將預(yù)處理好的圖片輸入網(wǎng)絡(luò)模型，對(duì)每一批次的圖片的哈希層輸出成對(duì)計(jì)算損失函數(shù)，使用隨機(jī)梯度下降優(yōu)化對(duì)模型參數(shù)進(jìn)行學(xué)習(xí)；

步驟5，生成圖像哈希碼：將數(shù)據(jù)庫(kù)的圖像輸入到步驟4訓(xùn)練好的模型中，得到對(duì)應(yīng)的哈希碼。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：在所述步驟1中，建立圖像對(duì)的相似性矩陣的具體方法為：將圖像訓(xùn)練集中同一類圖像視為相似，當(dāng)圖像x_i和圖像x_j相似時(shí)，其相似性標(biāo)簽s_ij＝1；當(dāng)圖像x_i和圖像x_j不相似時(shí)，其相似性標(biāo)簽s_ij＝0；數(shù)據(jù)預(yù)處理采用當(dāng)前深度哈希算法的統(tǒng)一設(shè)定；具體方法分為縮放、裁剪、翻轉(zhuǎn)、標(biāo)準(zhǔn)歸一化。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：在所述步驟2中，使用AlexNet，去除其分類層，并添加哈希層以生成哈希碼。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：在所述步驟3中，損失函數(shù)包含兩項(xiàng)損失，余弦相似性損失和余弦距離熵量化損失；

4.1余弦相似性損失

使用成對(duì)余弦相似性來(lái)約束哈希，以達(dá)到相似性保存的目的；構(gòu)建的余弦相似度損失用于編碼語(yǔ)義相似的圖像更近，編碼不相似的圖像更遠(yuǎn)；為了解決數(shù)據(jù)的類別不均衡和難易問(wèn)題，余弦相似性損失還嵌入了帶有余弦度量熵的加權(quán)相似度測(cè)量方法來(lái)降低其影響；余弦相似性損失為：

其中,i和j對(duì)應(yīng)圖像i和圖像j,為余弦相似性的度量,K為所需哈希碼的維度，一般使用16,32,48,64等,u_i和u_j為哈希層的輸出向量，u_i,u_j代表內(nèi)積運(yùn)算,‖u_i‖代表取模運(yùn)算；m是一個(gè)邊界閾值參數(shù)，值為0；s_ij為圖像i和圖像j的相似性標(biāo)簽，已由步驟1求得；eps＝10^-7,為防止負(fù)無(wú)窮的常數(shù)值；w_ij為樣本對(duì)相似性平衡權(quán)重，對(duì)于每一批次，針對(duì)相似樣本對(duì)，其為樣本對(duì)數(shù)量總和除以相似樣本對(duì)數(shù)量，針對(duì)不相似樣本對(duì)，其為樣本對(duì)數(shù)量總和除以不相似樣本對(duì)數(shù)量；因此，w_ij可以解決相似與不相似的數(shù)量不平衡問(wèn)題；γ為解決難易樣本問(wèn)題的余弦度量熵的超參數(shù)，值為2；

4.2余弦距離熵量化損失為：

其中，b_i為離散二值化的u_i；

則損失函數(shù)為：

L＝L_s+αL_Q

其中，α為量化損失函數(shù)的超參數(shù)；α為100。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于:在所述步驟4中，根據(jù)步驟2所使用的深度神經(jīng)網(wǎng)絡(luò)，將預(yù)處理的圖片按批次輸入，對(duì)每一批次的圖片的哈希層的輸出成對(duì)計(jì)算步驟3的損失函數(shù)，利用隨機(jī)梯度下降優(yōu)化對(duì)模型進(jìn)行訓(xùn)練，保存訓(xùn)練好的模型。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于:在所述步驟5中，使用步驟4得到的網(wǎng)絡(luò)參數(shù)，將數(shù)據(jù)庫(kù)的圖片輸入到網(wǎng)絡(luò)，將哈希層的輸出二值化即為哈希碼；在進(jìn)行圖像檢索時(shí)，同樣將查詢圖像輸入模型獲得對(duì)應(yīng)的哈希碼并與數(shù)據(jù)庫(kù)中的哈希碼比較，按照漢明距離從小到大的順序返回?cái)?shù)據(jù)庫(kù)的圖像。