[發明專利]基于多特征融合的圖像檢索方法

有效

• 申請號: 201410085211.X
• 申請日: 2014-03-10
• 公開（公告）號: CN103810299B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 鄧成;王嘉龍;楊延華;李潔;彭海燕;高新波
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/66
• 代理公司: 陜西電子工業專利中心61205
• 代理人: 王品華,朱紅星

1.一種基于多特征融合的圖像檢索方法，包括如下步驟：

（1）提取圖像特征：

（1a）對待檢索圖像集合中的所有圖像提取8192維視覺詞袋詞頻BoW特征；

（1b）對待檢索圖像集合中的所有圖像提取960維GIST特征；

（1c）對待檢索圖像集合中的所有圖像提取512維HSV顏色直方圖特征；

（1d）通過離線訓練學習，針對2659種基本語義標簽，分別訓練2659種語義標簽的分類器，對待檢索圖像集合中的每幅圖像，分別用這2659種分類器做預測，并將對應每一種分類器得到的預測分數連成向量，作為該圖像的語義屬性特征。

（2）根據步驟(1a)、（1b）、（1c）得到的三種圖像特征，用歐式距離公式分別計算待檢索圖像集合中所有圖像兩兩之間的相似性距離，分別得到步驟(1a)對應圖像特征通道的鄰接距離矩陣H₁'、步驟(1b)對應圖像特征通道的鄰接距離矩陣H'₂、步驟(1c)對應圖像特征通道的鄰接距離矩陣H'₃，每個矩陣中的每個元素值代表對應圖像兩兩之間用對應特征計算得到的相似性距離；

（3）對圖像進行粗檢索，并選擇參考圖像：

（3a）根據步驟(1a)、（1b）、（1c）得到的圖像特征，用歐式距離公式分別計算用戶指定的查詢圖像和待檢索圖像集合中每幅圖像之間在每一種特征通道上的相似性距離，構成對應三種特征通道的三組檢索相似性距離向量；

（3b）利用上述三種特征通道的三組檢索相似性距離向量分別對步驟（2a）得到的圖像鄰接距離矩陣H₁'、H'₂、H'₃進行擴展，即將對應特征通道的檢索相似性距離向量添加到對應矩陣的第一行和第一列，得到分別對應所述三種特征通道的擴展后圖像鄰接矩陣H₁、H₂、H₃；

（3b）按照待檢索圖像集合中每幅待檢索圖像和用戶給出的查詢圖像，將每一種特征通道的相似性距離從小到大分別排序，得到分別對應所述三種特征通道的粗檢索排序列表l₁、l₂、l₃；

（3c）根據步驟（3b）得到的粗檢索排序列表l₁、l₂、l₃，選取每一個列表的前k副圖像構成目標集合，對于目標集合中的每幅圖像按步驟(1d)所述的語義屬性特征，將小于0的維度置0，大于0的維度置1，得到目標集合中每幅圖像量化后的特征向量，并將所有量化后的特征向量做平均，得到對應的語義屬性共現模式向量S；

（3d）利用歐氏距離公式，計算數據庫中每幅待檢索圖像語義屬性特征與上所述語義屬性共現模式向量S的相似性距離，選取相似性距離最小的10幅圖像作為參考圖像；

（4）計算特征融合模板權重矩陣：

（4a）定義每一特征通道的檢索結構關系函數：

Q(wm)=Σi=1A12(||xi~m-Σj≠iAwijmx~jm||22+xqm-w1imx~im||22),]]>

其中，A表示參考圖像的個數，表示第i幅參考圖像的第m種特征表示，表示第j幅參考圖像的第m種特征表示，表示用戶指定的查詢圖像的第m種特征表示，表示第m種特征通道對應的融合模板矩陣wm第i行第j列元素的值，||||₂代表矩陣的2-范數；

（4b）定義每一特征通道之間的檢索結構關系函數：

R(wm)=Σm′=13Σi=1AΣk=1N-A12(||xi~m-wikmxkm||22-||xi~m′-wikm′xkm′||22),]]>

其中，N表示數據庫中待檢索圖像的個數，表示第i幅參考圖像的第m種特征表示，表示第i幅參考圖像的第m'種特征表示，表示第k幅參考圖像的第m種特征表示，表示第k幅參考圖像的第m'種特征表示，表示第m種特征通道對應的融合模板矩陣wm第i行第k列元素的值，表示第m'種特征通道對應的融合模板矩陣wm'第i行第k列元素的值，||||₂代表矩陣的2-范數；

（4c）優化如下目標函數，得到每一圖像特征的融合模板矩陣{w^m},m=1...3：

J=minwΣm=1MQ(wm)+λΣm′≠mMR(wm)+γΣm=1M||wm||1,s.t.Σjwij=1,wij≥0]]>

其中，λ和γ分別是給定的常數，||||₁代表矩陣的1-范數；

（5）圖像精檢索：

（5a）根據步驟（3a）得到的圖像鄰接距離矩陣H₁、H₂、H₃及步驟（4c）得到的每一種圖像特征的融合模板矩陣{w^m}，計算融合后的圖像鄰接矩陣H：

H=Σmwm⊗Hm,m=1...3,]]>

其中，w^m表示第m種特征通道對應的融合模板矩陣，代表矩陣的模板點乘運算；

（5b）根據融合后的圖像鄰接矩陣H，按照其第一行的值從小到大排列，將得到排列結果的前k幅圖像作為檢索結果返回給用戶。

2.根據權利要求1所述的基于多特征融合的圖像檢索方法，其中所述步驟(4c)中優化目標函數，按如下步驟進行：

（4c1）定義平滑函數H(w^m)=Q(w^m)+λR(w^m)，其梯度函數表示為；

（4c2）定義三種特征通道的融合模板權重矩陣分別為w¹、w²、w³，按列將每一特征通道對應的待求融合模板矩陣連接起來，表示為：w=[w¹|w²|w³]，其中，|表示矩陣列之間的分隔符；

（4c3）定義迭代次數變量為t，w第t次迭代的結果表示為w_t，設初始t=0，定義兩個中間變量，即第一中間變量θ和第二中間變量矩陣v，其第t次迭代的結果分別表示為θ_t和v_t；分別抽取第二中間變量矩陣v_t的第m+t×N到m+(t+1)×N-1列，構成對應子矩陣，m=1...3，N代表數據庫中所有待檢索圖像的數目；令初始θ₀=1，v₀=w₀=I_N×N，I表示N×N的單位矩陣；

（4c4）計算步驟（4c1）所述的梯度函數在第t次迭代變量v_t對應子矩陣上的值；

（4c5）按列將上一步驟得到的矩陣連接起來，得到全局梯度函數矩陣：

▿H(vt)=[▿H(vt1)|▿H(vt2)|▿H(vt3)],]]>

其中，|表示矩陣列之間的分隔符；

（4c6）根據上一步驟得到的全局梯度函數矩陣，計算第三中間變量L：

L=λmax(▿H(vt)),]]>

其中，λ_max代表矩陣最大的特征值；

（4c7）利用經典梯度最速下降法求解以下目標函數，得到融合模板矩陣w第t+1次迭代的結果w_t+1:

wt+1=argminw12||w-(vt-1L▿H(vt)||2+γL||w||1,]]>

其中，||||₂代表矩陣的2-范數，||||₁代表矩陣的1-范數，γ是給定的常數；

（4c8）計算w^t與w^t+1的差值，若w^t與w^t+1的差值小于0.001，則停止迭代，得到最優的特征融合模板矩陣w，否則執行步驟（4c9）；

（4c9）利用上一步得到的融合模板矩陣w在第t+1次迭代的結果w_t+1中，計算第一中間變量θ和第二中間變量矩陣v在第t+1次迭代的值：

θt+1=2t+3,]]>

vt+1=wt+1+1-θtθtθ(wt+1-wt),]]>

（4c10）令迭代次數變量t=t+1，返回步驟（4c4）繼續迭代。