[發明專利]一種基于多區域交叉權值的圖像卷積特征的生成方法

有效

• 申請號: 201710776735.7
• 申請日: 2017-08-31
• 公開（公告）號: CN107577758B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 董榮勝;程德強;李鳳英
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06N3/04
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

本發明公開一種基于多區域交叉權值的圖像卷積特征的生成方法，在K個特征圖中模糊地標記出目標位置，利用得到的目標位置和深度卷積特征計算空間權重圖；計算K個特征圖在不同尺度下的區域大小，分別計算不同區域下的空間權重、通道權重和區域權重；針對每個區域利用交叉權重進行聚合操作，并將多個區域的特征向量相加，得到圖像的K維特征表示。本發明生成的圖像特征表示，在應用于檢索任務表現出明顯優勢，較好地突出圖片目標區域，同時抑制了背景噪聲區域，將該圖像描述符應用于圖像檢索，能夠提高檢索準確率，達到精確檢索的目的。

技術領域

本發明涉及圖像檢索技術領域，具體涉及一種基于多區域交叉權值的圖像卷積特征的生成方法。

背景技術

隨著移動互聯網的飛速發展和智能設備的廣泛普及，用戶每天都會上傳下載海量的圖像。一方面，越來越多的圖像豐富了互聯網上的圖像資源，給人們帶來了各種便利；另一方面，隨著圖像資源的爆炸式增長，也給人們帶來了很多問題，用戶難以有效地在海量的數據中準確地找到自己真正需要的信息。如何有效地組織、表達及檢索圖像，以便于用戶可以從大量的圖像數據中高效、快速地找到圖像數據。

基于內容的圖像檢索(Content-based Image Retrieval，CBIR)是由Kato T在1992年提出的。在過去的幾年中，CBIR系統主要利用圖像的視覺內容提取出圖像的包括SIFT、SURF、HOG和GIST等特征，將其存入圖像特征庫。當用戶輸入查詢圖像進行檢索時，提取待查詢圖像的特征向量，將此特征向量與特征庫進行相似度計算，從而得到檢索結果。因此，CBIR中最核心的就是圖像的特征表示，優秀的特征表示可以提供更高的檢索準確率。

最近幾年，由于深度學習的發展，卷積神經網絡(CNN)在計算機視覺領域取得了重要進展，利用深度學習的網絡特征進行圖像的特征表示成為了一種主流方向。然而目前CNN特征描述符在“以圖搜圖”應用場景下存在準確率低的不足。

發明內容

本發明所要解決的是目前CNN特征描述符在“以圖搜圖”應用場景下準確率低的問題，提供一種基于多區域交叉權值的圖像卷積特征的生成方法，使得特征更緊湊、更具有區分性和魯棒性。

為解決上述問題，本發明是通過以下技術方案實現的：

一種基于多區域交叉權值的圖像卷積特征的生成方法，包括如下步驟：

步驟1、選擇任意一種用于分類后的卷積神經網絡模型，在網絡中截斷分類的步驟即全連接層，保證網絡模型對圖像尺寸不具有約束；

步驟2、將原始圖像輸入到卷積神經網絡模型中，提取原始圖像的特征圖X；

步驟3、從橫截面角度匯聚特征圖，將特征圖由三維特征圖X壓縮成二維特征圖M；并在特征圖M上利用該特征圖的均值模糊地標記出目標的大致位置，得到關于特征圖M的掩碼圖Mask；

步驟4、將特征圖M減去其均值得到新的特征圖并將新的特征圖與掩碼圖Mask經過加權后，生成關于特征圖M的空間權重圖Sal；

步驟5、對于特征圖M，在每個尺度上進行均勻采樣，實現特征圖M的區域劃分；

步驟6、根據空間權重圖Sal，計算區域空間權重Sal_i、區域權重w_i和通道權重Channel_j；

步驟7、根據區域空間權重Sal_i、區域權重w_i和通道權重Channel_j，交叉聚合特征圖X，生成新的圖像特征表示；

上述i∈[1,N]，N表示劃分區域的總數，j∈[1,K]，K表示通道的總數。

上述步驟3中，掩碼圖Mask為：