[發明專利]一種深度強相關哈希學習的大規模圖像檢索方法

有效

• 申請號: 201911321749.5
• 申請日: 2019-12-20
• 公開（公告）號: CN111125411B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 黃青松;單文琦;劉利軍;馮旭鵬
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/55;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種深度強相關哈希學習的大規模圖像檢索方法，屬于圖像處理技術領域。本發明把輸入圖像通過卷積子網絡與全連接層得到的特征信息映射到特征空間中，并添加了一個哈希層以得到哈希碼，然后通過強相關損失函數改變模型對權重矩陣的敏感度調節特征之間的距離，增大特征類間距離、縮小類內距離，通過計算低維哈希碼之間的漢明距離完成快速圖像檢索。本發明方法能夠實現快速、準確的大規模圖像檢索，并且可以廣泛地使用在多種卷積神經網絡中。

技術領域

本發明涉及一種深度強相關哈希學習的大規模圖像檢索方法，屬于圖像處理技術領域。

背景技術

隨著移動設備和互聯網的快速發展，每天有大量的圖像被上傳到網絡。百萬級甚至是千萬級的圖像數據量使得準確、快速地檢索出用戶需要的圖像變得越來越困難。大規模圖像檢索是計算機視覺研究的根基，直接關系到計算機視覺的實際應用。圖像檢索主要分為基于文本的圖像檢索(Text-Based Image Retrieval,TBIR)以及基于內容的圖像檢索(Content-Based Image Retrieval,CBIR)。TBIR的一般方法是，對圖像進行標注，再根據標注的文本進行基于關鍵字的檢索。TBIR的優勢在于用戶只需要提供關鍵字就可以得到檢索結果。但相應地，這導致檢索性能的好壞很大程度上取決于用戶輸入的關鍵字準確與否。然而，在實際應用中，文本很難準確地描述相應的圖像，這直接導致了TBIR檢索性能差。文本的局限性使得其不適用于圖像信息爆炸增長的現狀，因此目前主流方法是基于內容的圖像檢索。CBIR根據圖像本身的紋理、顏色、款式等信息進行檢索，從根本上解決了TBIR的缺陷。在CBIR中，最為重要的一步是對圖像信息進行提取，提取出的圖像特征信息將直接決定該圖像檢索系統的性能好壞。目前，CBIR中常用的圖像特征提取方法可分為經典方法與深度學習方法。常用的經典方法主要有以下3個方向：1)基于顏色特征。基于顏色特征的圖像檢索方法提取出的圖像特征屬于全局特征，且簡單、易實現。缺點在于，該方法很難描述圖像中的具體對象以及無法考慮到對象空間位置。2)基于紋理特征。基于紋理特征的圖像檢索方法的優點在于特征擁有旋轉不變性、一定的抗噪能力。這類方法的缺點在于無法利用圖像的全局信息、從二維圖像得到的紋理特征不一定是相應三維物體的真實紋理，從而導致檢索性能表現不好。3)基于形狀上下文特征。基于形狀上下文特征的圖像檢索方法相對于上面兩種特征來說，能夠描述圖像中的具體對象，有一定的語義關系。通常，形狀的描述子可分為輪廓和區域兩種，具體的方法有鏈碼、邊界長度、小波變換、傅里葉描述子、曲率尺度空間描述子、多邊形逼近等。這類方法的缺點在于計算復雜度高，無法適用于大規模的圖像檢索。隨著互聯網的快速發展，數據規模得到爆炸式增長，與此同時哈希方法與深度學習相結合的方法被廣泛地應用在加速圖像檢索任務中。哈希方法在檢索速度以及存儲開銷上有其它方法無法比擬的優勢，它能夠將高維的特征矩陣降維成緊湊的二分哈希碼。目前大多數哈希方法都使用“成對”或“三元組”的輸入來尋找隱藏的數據關系。這類方法必然會增大計算開銷，不適用于大規模的圖像檢索。基于此背景，為了實現快速且準確的大規模圖像檢索，本發明提出了一種簡單、有效、可廣泛使用于各種網絡結構的深度監督哈希學習方法。

發明內容

本發明提供了一種深度強相關哈希學習的大規模圖像檢索方法，為卷積神經網絡添加哈希層及設計強相關損失層，在哈希層限制神經元個數，使得輸出一個低維度的矩陣，再限制該矩陣的取值范圍，從而得到松弛的哈希碼，能實現快速、準確的圖像檢索。

本發明的技術方案是：一種深度強相關哈希學習的大規模圖像檢索方法，所述深度強相關哈希學習的大規模圖像檢索方法的具體步驟如下：

Step1、從圖像數據集中抽取數據構成訓練圖像數據，其次對圖像進行預處理操作，輸入圖像經過卷積子網絡，把圖像信息映射到特征空間中，得到一個局部式特征表示；

Step2、再經過全連接層，把上層得到的局部式特征表示映射到樣本標記空間中，再進入哈希層進行降維及哈希編碼；

Step3、再進入強相關損失層，利用強相關損失函數計算出當前迭代的損失值；最后返回損失值，根據損失值更新網絡參數，驅動模型的訓練；