[發明專利]一種聯合分類損失的雙流有監督深度哈希圖像檢索方法

在審

• 申請號: 202110010811.X
• 申請日: 2021-01-06
• 公開（公告）號: CN112766458A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 劉悅
• 申請（專利權）人: 南京瑞易智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06F16/53
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種聯合分類損失的雙流有監督深度哈希圖像檢索方法，首先選取圖像訓練集以及對應的圖像標簽，接著設計雙流深度神經網絡結構，第一流神經網絡專注于空間上的語義關聯性，第二流神經網絡專注于通道上的語義相關性，兩層都使用Alexnet在ImageNet上的預訓練模型，在全連接層前添加注意力模型，并在分類層之前添加一個哈希層，然后將這兩個神經網絡結合在一起創建一個可端到端訓練的統一框架，使用三元組損失函數、分類損失函數和量化損失函數來訓練網絡。通過設置網絡的學習率和每次處理數據的數量，在多個數據集上取得了很好的效果，實現了快速有效的圖像檢索。

技術領域

本發明涉及知識圖譜、圖像檢索技術領域，具體為一種聯合分類損失的雙流有監督深度哈希圖像檢索方法。

背景技術

傳統的哈希圖像檢索算法一般采取兩個步驟，第一步，對訓練數據集進行特征提取，得到圖像的高維特征向量，然后通過設計好的算法對這些高維特征向量進行學習，然后得到學習好的哈希函數。第二步，將數據庫里的圖像通過特征提取以及哈希函數的映射得到哈希碼并存入數據庫當中。當用一張圖像進行檢索時，同樣進行相應的特征提取之后再進行哈希函數，得到對應的查詢圖像的哈希碼，將這個哈希碼與數據庫中的哈希碼進行相似性計算，找到相似的樣本，返回相似度最高的圖像返回給用戶。一些傳統的哈希算法比如局部敏感哈希算法(Locality Sensitive Hashing,LSH)、基于核的監督哈希算法(supervised hashing with kernels,KSH)，監督離散哈希算法(Supervised DiscreteHashing,SDH)。然而通過這些方法得到的特征再經過訓練得到的模型效果往往沒有達到預期，一方面是提取的局部特征往往不能完整的表示整個圖像信息，另一方面是它將特征提取與哈希學習部分分割開來，使得學到的哈希碼大部分依賴于提取到的特征，學習的結果并不能直接反饋到特征提取的部分。

發明內容

本發明的目的在于提供一種聯合分類損失的雙流有監督深度哈希圖像檢索方法，以精確地用哈希碼表示圖像，增強圖像的重要特征，充分利用標簽實現更高精度的圖像檢索。本發明提供了一種不依賴時間信息的傳播網絡中影響一種聯合分類損失的雙流有監督深度哈希圖像檢索方法，包括以下步驟：

步驟1、選取圖像訓練集以及對應的圖像標簽，并進行歸一化處理；

步驟2、設計雙流深度神經網絡結構；

步驟3、設計三元組損失函數、分類損失函數和量化損失函數；

步驟4、設置網絡的學習率和每次處理數據的數量來訓練網絡。

優選的，步驟1所述的選取圖像訓練集以及對應的圖像標簽，并進行歸一化處理，具體為：訓練集從檢索庫中選取一部分圖像，將訓練集中的圖像歸一化為224×224的像素大小。

優選的，步驟2所述設計雙流深度神經網絡結構，具體為：

第一流神經網絡的結構為：

網絡輸入的是224×224×3的彩色圖像，

第一組由第一卷積層(Conv1_1)和第一最大池化層(Pool1)組成，卷積核的大小為11×11，設置步長為4，池化步長設置為2；

第二組由第二卷積層(Conv2_1)和第二最大池化層(Pool2)組成，卷積核的大小為5×5，設置步長為1，池化步長設置為2；

第三組由第三卷積層(Conv3_1)組成，卷積核的大小為3×3；

第四組由第四卷積層(Conv4_1)組成，卷積核的大小為3×3；

第五組由第五卷積層(Conv5_1)和第三最大池化層(Pool3)組成，卷積核的大小為3×3，池化步長設置為2；