[發明專利]加權多特征融合的細粒度圖像檢索方法

有效

• 申請號: 201810711795.5
• 申請日: 2018-06-26
• 公開（公告）號: CN108920643B
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 王智慧;王世杰;王虹;李豪杰;李建軍;劉華
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/532;G06K9/62;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

本發明屬于計算機視覺技術領域，提供了一種加權多特征融合的細粒度圖像檢索算法。先設計約束條件來過濾patch。其次，改進了現階段對大量patch特征采用的聚類或求和平均的方式，結合卷積層特征中目標區域激活值較大的特性，提出使用加權max?pooling聚合patch特征，弱化可能殘留背景信息的同時，盡可能多地保留有效目標信息。最后，引入深度信念網絡，對圖像的多級特征進行有效的非線性融合，挖掘出特征之間存在的內在聯系以及豐富的互補信息，更好地對圖像特征進行表征。與其它細粒度圖像檢索方法相比，本發明的算法綜合地表征細粒度圖像特征，進一步提高圖像檢索的準確率。

技術領域

本發明屬于計算機視覺技術領域，以提高圖像特征表征能力為出發點，提出加權多特征融合的細粒度圖像檢索算法。

背景技術

隨著科技的發展，人們在檢索領域有了更高、更細致的要求。以“鳥”為例，即使屬于不同類別的鳥在外表上可能也是相似的。一般的基于目標的圖像檢索無法滿足人們的需求,因此細粒度的圖像檢索(Fine-Grained Image Retrieval,FGIR)成為了圖像檢索領域中具有新鮮生命力且必需的研究課題。細粒度的圖像檢索可以應用在很多領域，比如動物保護、商品檢索、中草藥識別等，它的研究可以有助于為用戶提供更加方便、準確的服務。

在細粒度檢索中，給定相同物種(例如鳥，花或狗)的數據庫圖像和查詢圖像，在不依賴任何其他監督信息的情況下，應該返回與查詢圖像屬于相同子類的圖像。細粒度檢索相較于通用的圖像檢索更為困難。一般圖像檢索側重于基于其內容(例如紋理，顏色和形狀)的相似性來檢索“類似復制”的圖像，而細粒度檢索則側重于檢索相同子類的圖像(例如鳥的相同子類)。細粒度圖像檢索的難點在于屬于相同子類的目標可能具有不同的姿勢、比例、背景等，而不屬于相同類別的目標可能在這些方面又十分相似，如圖1所示。現階段對于細粒度圖像檢索的研究還比較少，因此迫切需要相關有效的技術。

在細粒度檢索任務中，屬于相同子類的目標擁有完全不同的背景，因此，圖像級的全局特征不足以對細粒度圖像進行高效的表示。在本發明中，將圖像輸入CNN網絡，除了提取圖像級的特征之外，通過對圖像進行定位，選取出更加具有辨別能力的目標級特征，使用緊湊而有效的特征進行初步檢索。

關于定位，Wei X.S.等人提出一種十分簡單而有效的方法。一張圖像輸入卷積神經網絡之后，其產生的特征圖譜大小為w×h×d,其中w×h表示一張特征圖的大小，d代表通道數。特征圖中各個位置的激活值可能指示了圖中的主要目標，也可能指示了圖像中的背景噪聲，因此單個通道的激活值對于表征物體位置沒有太大參考意義。但如果很多通道在同一個位置區域均產生了較大的激活值，即可以認為這個區域是一個物體而不是背景。

基于這樣的想法，將深度方向上獲得的激活值進行相加求和，這樣w×h×d的三維特征圖譜就會變成w×h大小的二維特征圖譜，記為聚合圖譜A(Aggregation map)。對于聚合圖譜而言，其w×h大小的激活響應值分別對應了w×h的位置。那些激活響應值高的位置，其對應的原圖像的區域更有可能是物體的一個部分。因此，首先計算聚合圖譜中激活響應值的平均值，記為u，若(i,j)位置的響應值高于u，則認為該位置對應了原圖像中的物體，由此可以產生一個與聚合圖譜A相同大小的掩碼圖M：

得到掩碼圖之后，首先使用雙三次插值調整掩碼圖M的大小，使其大小與輸入圖像相同。然后將相應的0、1標識疊加到原始圖像上，其中1的位置可以認為對應物體，0的位置則對應為背景。很容易想到，這樣的操作肯定會有除了物體以外的背景中的噪聲部分被激活。但幸運的是，由于噪聲部分的面積通常小于主要物體的面積，因此采用最大連通域算法來收集M中的最大連通區域，記為M′，以消除由背景噪聲部分引起的干擾。

由此，使用M'來選擇卷積特征圖譜中的目標區域。特征圖譜中每個像素點的描述x_(i,j)在M′為1時認為是物體部分進行保留，在M′為0時認為是背景部分進行舍棄。最終用于粗略檢索的特征描述記為：