[發明專利]從圖像中提取哈希碼的方法、裝置及圖像檢索方法、裝置

有效

• 申請號: 201810766031.6
• 申請日: 2018-07-12
• 公開（公告）號: CN109145132B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 王浩;杜長營;龐旭林;張晨;楊康
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06T9/00;G06N3/04
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

本發明公開了一種從圖像中提取哈希碼的方法、裝置及圖像檢索方法、裝置，該方法包括：構建哈希碼提取模型，該模型包括編碼器和解碼器；其中，編碼器由多層深度神經網絡DNN組成，從圖像數據中提取哈希碼輸出給解碼器，解碼器由多層DNN組成，將輸入的哈希碼轉換為圖像；對解碼器的最后一層輸出進行正則化，以盡量保證DNN隱層輸出與哈希碼相近，從而簡化解碼器網絡結構，倒逼編碼器提取高質量的哈希碼，得到抗冗余哈希碼深度提取模型；對抗冗余哈希碼深度提取模型進行訓練，確定模型中的參數；利用訓練好的抗冗余哈希碼深度提取模型中的編碼器，從圖像中提取哈希碼。該方法可以有效降低編碼空間信息冗余，有效利用所有維度，高精度地提取圖像哈希碼。

技術領域

本發明涉及人工智能技術領域，具體涉及一種從圖像中提取哈希碼的方法、裝置及圖像檢索方法、裝置，以及電子設備和計算機可讀存儲介質。

背景技術

LTH(learning to hash)是一種圖像壓縮方法，在圖像檢索應用中非常有效，該框架從圖像中提取二進制哈希碼，計算輸入圖像與圖像庫中圖像哈希碼的相似度，進行檢索。LTH框架可大大降低存儲空間，并提升檢索效率。

在LTH中圖像的哈希碼提取非常關鍵，一般采用編碼器來實現。自編碼器是一種無監督神經網絡方法，由編碼器和解碼器組成，可根據隨機編碼生成圖像。VAE(VariationalAutoencoder，變分自動編碼器)是對隨機編碼進行標準正態分布約束，進而生成圖像。LTH框架中應用最廣泛的哈希碼提取方法SGH(Stochastic Generative Hashing，隨機哈希生成)便是基于VAE框架的一種應用。

VAE框架的變分裁剪(Variational Pruning)會導致模型訓練初期有些隱層單元還未被有效提取時就會出現崩塌(collapse)，從而使框架存在明顯的先天不足，例如，(1)編碼空間存在很多冗余維度(即無信息的冗余數據)；(2)框架對編碼空間的隱碼(latentcode)利用不足；等。尤其當解碼器結構復雜時，這些不足更為明顯。這會導致：對無法準確提取圖像哈希碼，導致圖像檢索準確率下降以及其他相關應用的問題。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的從圖像中提取哈希碼的方法、裝置及圖像檢索方法、裝置。依據本發明的一個方面，提供了一種從圖像中提取哈希碼的方法，該方法包括：

構建哈希碼提取模型，該模型包括編碼器和解碼器；其中，編碼器由多層深度神經網絡DNN組成，從圖像數據中提取哈希碼輸出給解碼器，解碼器由多層DNN組成，將輸入的哈希碼轉換為圖像；

對所述解碼器的最后一層輸出進行正則化，以盡量保證DNN隱層輸出與哈希碼相近，從而簡化解碼器網絡結構，倒逼編碼器提取高質量的哈希碼，得到抗冗余哈希碼深度提取模型；

對抗冗余哈希碼深度提取模型進行訓練，確定模型中的參數；

利用訓練好的抗冗余哈希碼深度提取模型中的編碼器，從圖像中提取哈希碼。

可選地，

所述構建哈希碼提取模型包括：構建變分自編碼器VAE模型或隨機哈希生成SGH模型，其目標函數如式(1)所示；

其中，D_KL為KL散度；X為輸入數據，Z為解碼器輸出的圖像哈希碼，θ是由解碼器DNN模型得到的用于表示似然的參數；

對所述解碼器的最后一層輸出進行正則化，以盡量保證DNN隱層輸出與哈希碼相近，從而簡化解碼器網絡結構，倒逼編碼器提取高質量的哈希碼，得到抗冗余哈希碼深度提取模型包括：

在(1)所示的目標函數中增加一項約束項得到式(2)所示的目標函數；