[發(fā)明專利]基于深度學習和哈希編碼的圖像檢索方法

有效

• 申請?zhí)枺?/td>: 201710525604.1
• 申請日: 2017-06-30
• 公開（公告）號: CN107330074B
• 公開（公告）日: 2020-05-26
• 發(fā)明（設計）人: 陳熙霖;劉昊淼;王瑞平
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06K9/62
• 代理公司: 北京泛華偉業(yè)知識產權代理有限公司 11280
• 代理人: 王勇;李科

本發(fā)明涉及一種基于深度學習和哈希編碼的模型訓練方法，包括將部分標注的圖像數據作為網絡模型的訓練數據，通過深度網絡將所述訓練數據表示為類二值哈希編碼，其中，所述類二值哈希編碼是指取值是連續(xù)值的一種模擬二值哈希編碼；將獲得的類二值哈希編碼作為輸入，連接到深度網絡的一個或多個任務層，同時使用一個或多個任務進行訓練；基于類二值哈希編碼獲得帶有所述可供檢索的特征信息的用于表示所述訓練數據的二值哈希編碼。

技術領域

本發(fā)明涉及計算機視覺技術領域，特別涉及一種基于深度學習和哈希編碼的圖像檢索方法。

背景技術

隨著科學技術的發(fā)展，當今世界已進入大數據時代，尤其是圖像數據資源增長迅速，因此對大規(guī)模圖像數據進行檢索以滿足用戶需求給圖像檢索技術領域帶來了新的挑戰(zhàn)。相比于傳統的基于文本的圖像檢索技術(Text-Based Image Retrieval，TBIR)，基于內容的圖像檢索(Content-Based Image Retrieval，CBIR)越來越受到人們廣泛的關注。

在CBIR技術中，如何有效地描述圖像的特征以及采用何種方式進行快速的相似性檢索是近幾年的研究熱點。由于深度神經網絡在特征學習上的優(yōu)越性以及哈希編碼在檢索中的計算速度和存儲空間上的優(yōu)越性，出現了利用深度卷積神經網絡，或哈希技術，或二者相結合的圖像檢索方法。

例如，一種基于深度網絡提取特征的圖像檢索方法，利用訓練好的深度卷積網絡對圖像提取特征，通過計算查詢圖像的特征和數據庫中圖像特征的歐氏距離并排序來進行圖像檢索。參考論文“Artem Babenko,Anton Slesarev,Alexandr Chigorin,and VictorLempitsky.Neural Codes for Image Retrieval.ECCV 2014”。該方法的缺陷在于，一方面，使用該方法提取的特征為維度較高的實數向量，因此存儲開銷和計算量較大，無法滿足當前網絡數據庫規(guī)模增長迅速的需求；另一方面，該方法提取特征的深度網絡不是針對數據庫數據進行訓練的，檢索效果嚴重依賴于數據庫數據和訓練網絡使用的數據之間的相似程度，若相似程度較低，則會相應導致檢索效果較差。

現有技術中，還有一種基于多視覺屬性檢索式的圖像檢索方法，利用視覺屬性之間的關聯，訓練多個視覺屬性的聯合分類器來預測圖像具有的視覺屬性。檢索時，根據用戶給定的檢索式和已知的視覺屬性之間的關聯，構建一個新的檢索式，根據數據庫中圖像的視覺屬性與檢索式的匹配程度進行檢索。參考論文“Behjat Siddiquie,Rogerio S.Feris,and Larry S.Davis.Image Ranking and Retrieval based on Multi-AttributeQueries.CVPR 2011”。該方法的缺陷在于，一方面，由于訓練時只在視覺屬性數據上訓練，該方法無法直接用于其他的檢索任務，限制了其應用前景；另一方面，當希望增加數據庫上的視覺屬性時，聯合訓練的模型無法直接擴展到新的視覺屬性上，需要完全從頭開始重新訓練，從而限制了該方法的可擴展性。

另外，中國專利公開號CN105512273A還公開了一種基于可變長深度哈希學習的圖像檢索方法，該方法利用圖像三元組對深度網絡進行訓練，目標是讓網絡端到端地學習一個二值哈希編碼，使得相似的圖像具有相似的編碼，不相似圖像的編碼差異較大。該方法的缺陷在于，一方面由于在訓練時只能使用一種相似性度量，因此最終得到的二值哈希編碼只能用于單一的檢索任務，限制了該方法的應用范圍；另一方面，該方法在訓練時使用了圖像三元組，從而導致訓練時模型收斂較慢，訓練耗時大。

因此，目前需要一種快速有效且擴展靈活的圖像檢索方法。

發(fā)明內容

本發(fā)明的目的是提供一種基于深度學習和哈希編碼的圖像檢索方法，該方法能夠克服上述現有技術的缺陷。

根據本發(fā)明的一個方面，提供一種基于深度學習和哈希編碼的模型訓練方法，包括以下步驟：