[發明專利]基于監督轉移的零樣本哈希圖片檢索方法

在審

• 申請號: 201710253104.7
• 申請日: 2017-04-18
• 公開（公告）號: CN107346327A
• 公開（公告）日: 2017-11-14
• 發明（設計）人: 楊陽;羅雅丹;陳緯倫;沈復民;邵杰;申恒濤
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 電子科技大學專利中心51203
• 代理人: 周劉英

技術領域

本發明屬于圖像哈希領域，具體涉及一種精確地將圖片哈希的方法，尤其是在對于某類圖片無訓練樣本的情況下，仍能夠將該類圖片進行合理編碼的方法。

背景技術

隨著越來越多的多媒體數據的產生，哈希成為了應對大規模檢索的一種強大的工具，其可以極大程度的縮短在幾十億數據中查找所花費的時間。由于計算機極為擅長異或運算，使用哈希碼進行檢索可以應對大數據時代所帶來的查找需求。

數據庫哈希是一個極為重要的工作，對于眾多的領域都有著極為重要的意義。因此，哈希在過去的很長一段時間得到了重要的關注，提出了很多重要的算法。如數據無關哈希類的Local Sensitive Hashing(LSH)，數據相關哈希類的Iterative Quantization(ITQ)，Isotropic Hashing以及監督哈希類的Supervised Hashing with Kernels(KSH)，Supervised Discrete Hashing(SDH)。尤其是監督哈希類，通過挖掘語義標簽，深入的探索了數據庫中各個樣本之間的內在關系，極大程度地提高了哈希的精確度。

然而，在大數據時代，隨著越來越多的多媒體數據的生成，要求對于每一個類別都擁有訓練數據是不現實的。而傳統的哈希方法更多是針對靜態數據庫，面對指數增加的數據庫能力有限。因此傳統的監督哈希方法不適用于膨脹的數據庫。零樣本學習(Zeroshot Learning)是一種有效解決樣本缺乏的方法。通過學習如何從未觀察到的樣本特征空間映射到語義空間，從而避免對未觀測到的樣本重新建模。然而，傳統的零樣本學習常常有很多限制，如：認為的屬性標注歧義、不能應對數據集轉移。因此，最近幾年，隨著自然語言處理領域的發展，零樣本學習被給予了新的解決方案。如，通過挖掘巨大的語料庫如Wikipedia，監督標簽可以被映射為標簽向量，而這種標簽向量通常被賦予了高于傳統標簽的語義，從而引導模型對未觀察到的空間進行建模。著名的方法包括Socher用標簽向量進行監督，引導對于未觀測到的數據進行分類，具體見文獻“R.Socher,M.Ganjoo,C.D.Manning,and A.Ng.Zero-shotlearning through cross-modal transfer.In NIPS,2013.”。Frome在文獻“A.Frome,G.S.Corrado,J.Shlens,S.Bengio,J.Dean,T.Mikolov,et al.Devise:A deep visual-semantic embeddingmodel.In NIPS,2013.”中也采用了相似的策略，但是使用了不同的語言模型并擴展到了更多的類別。

傳統的監督哈希的訓練模式是，針對某一個特定類別，采用1/0的標簽進行監督，引導訓練。這樣的1/0標簽相互之間的相關性為0，也即對于監督的標簽來說，類與類之間的差別是固定的。這樣做會導致類別之間的關聯性得不到體現，從而使得訓練出來的哈希模型只能對處于訓練集中的類別進行有效的編碼，而對于一個從未見過的類別無法可靠地編碼，也即無法可靠地對于未見過的類別進行檢索。

發明內容

為了克服現有的監督哈希算法對于訓練數據的苛刻要求，對于沒有訓練數據的類哈希能力較弱的缺點，本發明提出了一種新的監督哈希算法，即零樣本哈希(Zeroshot Hashing)。本發明對訓練樣本沒有嚴格要求，應用范圍廣，特別是在大型數據庫里，當類別較多且無法對每一個類別找出訓練樣本時，本發明可以極大程度地提高對于該類別的圖片檢索準確率。

本發明利用現有自然語言處理(Natural Language Processing)模型對已有訓練數據的標簽進行建模，形成一個標簽空間。通過新的標簽空間潛在的保存標簽之間的關系(即各標簽在標簽空間的空間位置距離關系)，訓練從圖片特征空間到標簽空間的映射。在此基礎上，將此映射關系反映在哈希碼上。

首先將圖片表示為圖片原始特征，即圖片特征空間，再將圖片表征成為了機器學習算法可以處理的向量(標簽向量)，即將圖片原始標簽通過現有的自然語言處理模型(基于大型語料庫訓練得到)表征為標簽空間(也稱語料空間),在標簽空間中，語義相近的詞匯會有更小的空間位置距離，而語義相去的標簽的空間位置距離則會較遠。對圖片原始特征、標簽向量進行哈希函數的學習，從而既可以極大程度的保留已知類別的哈希碼學習能力，同時又可以通過自然語言處理后所形成的標簽空間的內在關系(空間位置距離關系)，隱式地傳遞未知類別的監督信息，從而對未知類別的數據進行很好的哈希。