[發明專利]一種單模態圖像哈希檢索方法

在審

• 申請號: 202010577850.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111737507A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 凌澤樂;高巖;高明;金長新
• 申請（專利權）人: 浪潮集團有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583;G06K9/62;G06N3/04
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種單模態圖像哈希檢索方法，其特征在于：包括圖像預處理，圖像特征提取，輸出注意力圖像和生成哈希檢索模型四部分；

首先通過定義多級語義相似關系矩陣來保持多標簽數據中豐富的語義信息，同時采用Attention機制自發尋找圖像中的重點關注區域，通過學習生成與圖像表示大小相同的掩碼，從而提取圖片模態中的語義信息，輔助哈希檢索模型得到更高質量的哈希函數。

2.根據權利要求1所述的單模態圖像哈希檢索方法，其特征在于，具體實施步驟如下：

第一步，獲取訓練集原始圖片，將圖像分別對應不同殘差網絡進行輸入；

第二步，將訓練樣本輸入哈希檢索模型，通過最小化損失函數優化哈希檢索模型參數；

第三步，固定模型，將所有樣本通過哈希檢索模型得到對應的哈希碼，存入輸入庫以備使用；

第四步，使用哈希檢索模型進行檢索任務時，只需要將圖片任意模態樣本輸入模型生成該模態對應哈希碼，然后在另一模態的哈希碼數據庫中尋找海明距離最近的n個哈希碼，返回與之對應的樣本即可。

3.根據權利要求2所述的單模態圖像哈希檢索方法，其特征在于：所述第二步中，采用迭代優化的方法優化模型參數，即固定一個參數，優化另外的參數。

4.根據權利要求3所述的單模態圖像哈希檢索方法，其特征在于：所述第二步中，優化哈希檢索模型，包括以下步驟：

(1)生成具有多級語義的相似性矩陣S；

(2)提取圖片模態的特征，得到圖像模態特征P_i，并對圖像進行分類任務，輸出注意力圖像；

(3)將得到的特征圖像與注意力圖像進行點乘，得到圖片模態的特征表示F_i和文本模態的特征表示F_j；

(4)采用損失函數對哈希檢索模型進行迭代優化，最終得到優化的哈希檢索模型。

5.根據權利要求4所述的單模態圖像哈希檢索方法，其特征在于：所述步驟(1)中，具有多級語義的相似性矩陣S表示為：

其中，|C_i|和|C_j|分別表示樣本i和樣本j所具有的類別數，D(i,j)表示兩個樣本所共有的類別數；樣本i和樣本j組成的的相似性矩陣S_ij∈[0,1]，從而保證生成的S矩陣具有更大的區分性。

6.根據權利要求4所述的單模態圖像哈希檢索方法，其特征在于：所述步驟(2)中，采用Resnet101網絡進行提取，并得到圖像模態特征P_i；同時采用Resnet01網絡，去掉全連接層，加入平均池化層，輸出為樣本類別數據，對圖像進行分類任務，最后一層加入Attention機制，輸出為注意力圖像，激活重點關注的區域。

7.根據權利要求6所述的單模態圖像哈希檢索方法，其特征在于：所述步驟(3)中，將的得到的特征圖像與注意力圖像進行點乘，并將得到的結果作為輸入進入全連接層得到圖片模態的特征表示F_i；將文本模態的BOW表示輸入到全連接層得到文本模態的特征表示F_j。

8.根據權利要求4、5、6或7所述的單模態圖像哈希檢索方法，其特征在于：所述步驟(4)中，損失函數表示為：

其中，S_ij為樣本i和樣本j組成的的相似性矩陣，σ為超參數，用來平衡懲罰項和數據損失項，F^T_i為圖片模態的特征表示的轉置，F_j為文本模態的特征表示，L₂為常見的量化損失，L₃為位平衡損失。