[發明專利]一種單模態圖像哈希檢索方法

在審

• 申請號: 202010577850.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111737507A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 凌澤樂;高巖;高明;金長新
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583;G06K9/62;G06N3/04
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

本發明特別涉及一種單模態圖像哈希檢索方法。該單模態圖像哈希檢索方法，包括圖像預處理，圖像特征提取，輸出注意力圖像和生成哈希檢索模型四部分。該單模態圖像哈希檢索方法，通過attention機制提取圖片模態中的語義信息，提高了哈希檢索模型生成哈希函數的質量，同時通過使用多級語義監督方式，增強了擁有多個標簽數據間檢索的精度，使得最為匹配的項位于最終檢索結果的前面，從而極大的提高了檢索效率。

技術領域

本發明涉及圖像檢索技術領域，特別涉及一種單模態圖像哈希檢索方法。

背景技術

隨著科技進步，互聯網技術飛速發展，技術更新日新月異，圖像視頻數據出現大爆炸式的增長。常規的圖像檢索技術包括基于文本的圖像檢索技術(Text-based ImageRetrieval，簡稱TBIR)和基于內容的圖像檢索(Content-based Image Retrieval，簡稱CBIR) 技術兩種檢索方式。其中，基于文本的圖像檢索技術是利用文本描述的方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等；基于內容的圖像檢索技術是對圖像的內容語義，如圖像的顏色、紋理、布局等進行分析和檢索的圖像檢索技術。目前，基于內容的圖像檢索技術成為主流的圖像檢索方法。

圖像哈希檢索技術旨在將已有數據集合進行搜索，找出符合要求的圖像數據。由于哈希碼具有存儲數據小，檢索速度快的優點，所以哈希檢索被廣泛應用在檢索任務中。現有的圖像哈希檢索技術可以分為深度模型檢索技術和非深度模型檢索技術兩類。傳統做法一般是采用深度網絡，提取圖像特征，并根據提取到的特征使用全連接網絡在交叉熵損失將樣本轉化成哈希碼保存在數據庫中。

由于在現實環境中，一個圖像中包含非常多豐富信息，往往存在多個類被信息，對于傳統的針對一個類信息往往精確度不夠，圖像中的背景中的冗余信息和值得重點關注區域的信息在哈希學習過程中居于同樣的地位。而現有的大多哈希檢索模型旺旺只關注圖像中值得重點關注區域的信息，不能充分利用全部圖像信息。

基于上述問題，本發明提出了一種單模態圖像哈希檢索方法。

發明內容

本發明為了彌補現有技術的缺陷，提供了一種簡單高效的單模態圖像哈希檢索方法。

本發明是通過如下技術方案實現的：

一種單模態圖像哈希檢索方法，其特征在于：包括圖像預處理，圖像特征提取，輸出注意力圖像和生成哈希檢索模型四部分；

首先通過定義多級語義相似關系矩陣來保持多標簽數據中豐富的語義信息，同時采用Attention機制自發尋找圖像中的重點關注區域，通過學習生成與圖像表示大小相同的掩碼，從而提取圖片模態中的語義信息，輔助哈希檢索模型得到更高質量的哈希函數。

本發明單模態圖像哈希檢索方法，具體實施步驟如下：

第一步，獲取訓練集原始圖片，將圖像分別對應不同殘差網絡進行輸入；

第二步，將訓練樣本輸入哈希檢索模型，通過最小化損失函數優化哈希檢索模型參數；

第三步，固定模型，將所有樣本通過哈希檢索模型得到對應的哈希碼，存入輸入庫以備使用；

第四步，使用哈希檢索模型進行檢索任務時，只需要將圖片任意模態樣本輸入模型生成該模態對應哈希碼，然后在另一模態的哈希碼數據庫中尋找海明距離最近的N個(按需求自定義)哈希碼，返回與之對應的樣本即可。

所述第二步中，采用迭代優化的方法優化模型參數，即固定一個參數，優化另外的參數。

所述第二步中，優化哈希檢索模型，包括以下步驟：

(1)生成具有多級語義的相似性矩陣S；

(2)提取圖片模態的特征，得到圖像模態特征P_i，并對圖像進行分類任務，輸出注意力圖像；