[發明專利]一種面向圖像檢索的對象級深度特征聚合方法

在審

• 申請號: 201611152148.2
• 申請日: 2016-12-14
• 公開（公告）號: CN106649665A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 李豪杰;暴雨;樊鑫;羅鐘鉉
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 大連理工大學專利中心21200
• 代理人: 李曉亮,趙連明

技術領域

本發明屬于數字媒體領域，涉及一種面向圖像檢索的對象級深度特征聚合方法。

背景技術

基于內容的圖像檢索作為計算機視覺領域的一個重要研究問題，在過去的十年里受到國內外學者的廣泛關注。基于內容的圖像檢索是指從圖像數據庫中查找出與查詢圖像相似的圖像。因為拍攝時角度、距離、環境等因素的不同，會造成相似或相同的拍攝對象在不同圖像有著很大的變化，如尺度、視角、布局等變化。因此生成一個對各種圖像變化具有高魯棒性的圖像特征，是解決圖像檢索問題的關鍵。

相對于傳統的基于人工設計的圖像特征，基于學習的方法尤其是卷積神經網絡已經在圖像特征提取上顯示出的強大的能力,在圖像分類和目標檢測等計算機視覺任務上取得了巨大的成功。在圖像檢索問題中，目前有基于全局和基于局部兩種卷積神經網絡特征表示方法。

基于全局的方法，直接使用卷積神經網絡提取整幅圖像的特征，作為最終的圖像特征。但是因為卷積神經網絡主要對全局空間信息進行編碼，導致所得特征缺乏對圖像的尺度、旋轉、平移等幾何變換和空間布局變化的不變性，限制了其對于高度易變圖像檢索的魯棒性。

對于基于局部的方法，使用卷積神經網絡提取圖像局部區域的特征，然后聚合這些區域特征生成最終的圖像特征。雖然這些方法考慮到了圖像的局部信息，使得特征相對于全局方法對各類變化具有更高的魯棒性，但是這些方法中仍有一些缺陷。例如使用滑動窗口的方法來得到圖像區域(參考Yunchao Gong，Liwei Wang，Ruiqi Guo，Svetlana Lazebnik在European Conference on Computer Vision 2014年第392-407頁發表的文章“Multi-scale orderless pooling of deep convolutional activation features”)，因沒有考慮到圖像的顏色、紋理、邊緣等視覺內容，產生大量無語義意義的區域，為之后的聚合過程帶來冗余和噪聲信息。另外，區域特征融合通常所使用的最大池化算法(參考Konda Reddy Mopuri,R.Venkatesh Babu在Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops 2015年第62-70頁發表的文章“Object level deep feature pooling for compact image representation”)，因只保留了特征的最大響應而沒有考慮特征間的關聯，丟失大量信息，降低了所得的最終圖像特征的區分性。

本發明通過基于對象的方法來解決以上問題。在生成圖像區域時，使用基于內容的無監督對象生成方法，即通過圖像顏色、紋理、邊緣等視覺信息以聚類的方式來生成圖像區域。因為圖像中同一個語義對象會有一定的視覺相似性，這樣得到的圖像區域在很大概率上會包含一個對象或者對象的一部分。同時，一幅場景圖像通常是由一些對象構成，對這些對象的解析是理解場景的關鍵。因此基于內容生成的圖像區域相對于簡單的滑動窗口包含更多有語義意義的視覺信息，其特征描述也具有更高的區分性，同時基于對象特征進行融合，所得最終特征對場景中對象的空間布局變化也具有很好的魯棒性。在聚合特征的過程時，采用VLAD(Vector of Locally Aggregated Descriptors)算法，先將圖像區域特征進行聚類，然后統計一幅圖像中所有區域特征與其相近聚類中心的累積殘差來表示最終的圖像特征。相對于最大池化算法，該方法考慮了區域特征間關聯的同時對圖像的局部信息有更細致的刻畫，使得得到的最終圖像特征對各類圖像變換具有更高魯棒性。

發明內容

針對現有技術的不足，本發明提供一種面向圖像檢索的對象級深度特征聚合方法，生成對圖像幾何變換和對象空間布局變化具有高魯棒性的圖像特征用于圖像檢索應用。

本發明的技術方案為：

一種面向圖像檢索的對象級深度特征聚合方法，包括以下步驟：