[發明專利]加權多特征融合的細粒度圖像檢索方法

有效

• 申請號: 201810711795.5
• 申請日: 2018-06-26
• 公開（公告）號: CN108920643B
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 王智慧;王世杰;王虹;李豪杰;李建軍;劉華
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/532;G06K9/62;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

1.一種加權多特征融合的細粒度圖像檢索方法，其特征在于，步驟如下：

(1)由粗略到精細的加權多特征融合的細粒度圖像檢索算法

步驟1)粗略檢索階段

給定一張查詢圖像q，粗略檢索階段對圖像q首先提取圖像級的特征，然后對圖像q中的目標進行定位，產生目標區域，并提取目標級特征；將提取的圖像級特征留作下一步的輸入；使用目標級特征在整個數據庫中進行粗略檢索，返回Top-K張相似的圖像，以縮小搜索空間；

步驟2)細粒度檢索階段

2.1)首先通過Selective Search算法為某一張圖像提取到眾多候選patch，然后使用patch兩個約束條件，過濾選出有區分力的patch；

2.2)將步驟2.1)得到的patch輸入到CNN網絡中，提取到的patch級CNN特征進行聚合，得到patch級特征；

2.3)多粒度特征非線性融合，將獲取的步驟1)圖像級特征以及patch級CNN特征輸入DBN網絡，定義網絡輸出的概率函數為：

其中，h⁽¹⁾,h⁽²⁾分別代表DBN網絡中的兩個隱層，將產生的圖像級特征以及patch級CNN特征分別記為Q_I，Q_p；

再采用一個聯合RBM來融合粗粒度的圖像級特征及細粒度的patch特征；其輸出的聯合分布定義如下：

最終得到的聯合分布被認為是圖像級特征和patch級的聯合表示，標記為S；

粗略檢索步驟中，利用目標級特征得到與查詢圖像相似的Top-K張圖像；使用圖像級特征和patch級的融合后的特征S，再次在Top-K中進行細粒度的檢索，并根據Top-K張圖像與查詢圖像之間的歐式距離排序，得到與查詢圖像屬于同一子類的圖像排序列表；

步驟3)查詢擴展

細粒度檢索階段返回數據庫中與查詢圖像屬于同一子類的圖像；對于細粒度檢索過程產生的Top-5的圖像特征進行求和平均，以此生成新的查詢描述符；用新的查詢描述符執行新一輪的細粒度檢索，更新得到的圖像排序列表；

(2)patch的約束條件與patch的聚合

(2.1)patch與目標區域間的約束，即patch和目標區域有較高程度的重疊；定位的目標區域是任意形狀的，將不規則目標區域與patch的重疊像素個數作為評價標準，避免引入多余背景噪聲的同時，更加準確地計算目標區域與patch的重疊度：

其中，p_i代表patch集合中第i個patch，表示第i個patch的區域，X_O表示粗略檢索階段產生的目標區域，若像素I落在和X_O的并集區域，則分子部分統計數加一；若像素I落在X_O區域，則分母部分統計數加一；通過該公式，與目標區域重疊像素個數多的patch將獲得較高的重疊度，從而得以保留；

為保證所選的patch與目標區域有較大重疊度的同時，與背景有較小重疊度，進一步設計以下過濾條件：

與上式的區別在于分母是落入區域的像素個數；通過該式，若patch本身面積過大，則分母隨之越大，最終該patch獲得的重疊度變小，從而去除與背景區域重疊度較大的patch；

(2.2)patch之間的約束，即選擇的局部patch之間具有較小的重疊；

忽略patch之間的空間關系，導致最終所選擇的patch彼此之間具有很大的重疊，反而降低一些真正具有判別性的patch發揮的作用；由于Selective Search算法獲得的patch都是矩形的，直接采用IoU計算patch與其它patch之間的重疊率：

其中，p_i代表patch集合中第i個patch，p_j代表patch集合中第j個patch，且i≠j；

(2.3)patch特征聚合

記過濾后的patch特征集合為P＝{p₁,p₂,...,p_n}，最后的patch特征通過以下公式計算得出：

其中，M表示每個patch特征的維度，n表示patch特征的個數；通過這種方式，弱化一定程度的背景信息以外，還保留每個patch中較為重要的特征部分，從而生成一個更加具有區分力的patch級特征。