[發明專利]基于結構語義直方圖的圖像檢索方法

有效

• 申請號: 201310284272.4
• 申請日: 2013-07-08
• 公開（公告）號: CN103336830B
• 公開（公告）日: 2017-02-08
• 發明（設計）人: 劉廣海
• 申請（專利權）人: 劉廣海
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 桂林市持衡專利商標事務所有限公司45107
• 代理人: 陳躍琳

1.基于結構語義直方圖的圖像檢索方法，其特征是包括如下步驟：

（1）將彩色圖像從RGB顏色空間轉換到HSV顏色空間；在HSV顏色空間中，H分量表示色彩信息，可用于表示不同顏色，稱之為顏色分量；

（2）在HSV彩色空間中，將H,S和V三個分量用于構建高斯金字塔H(σ)，S(σ)和V(σ)，其中σ∈[0...5]表示尺度，然后通過跨尺度抽樣并產生所謂的特征映射：

F（c,s,H）=|H（c）口H（s）|???????????（1）

F（c,s,S）=|S（c）口S（s）|??????????（2）

F（c,s,V）=|V（c）口V（s）|??????????（3）

式中，F（c,s,H）表示H分量的特征映射，F（c,s,S）表示S分量的特征映射，F（c,s,V）表示V分量的特征映射，H（c）表示H分量細尺度c的高斯金字塔，H（s）表示H分量粗尺度s的高斯金字塔，S（c）表示S分量細尺度c的高斯金字塔，S（s）表示S分量粗尺度s的高斯金字塔，V（c）表示V分量細尺度c的高斯金字塔，V（s）表示V分量粗尺度s的高斯金字塔，口表示中心-周邊差操作，它是在“中心”細尺度c和“周邊”粗尺度之間進行，并產生特征映射圖；

將每個特征映射圖縮小到尺度5，然后進行逐點相加，最后得到3個獨立顯著性圖像映射和

H‾=⊕c=04⊕s=55N(F(c,s,H))---(4)]]>

S‾=⊕c=04⊕s=55N(F(c,s,S))---(5)]]>

V‾=⊕c=04⊕s=55N(F(c,s,V))---(6)]]>

上述三式中，表示H分量的顯著性圖像映射，表示S分量的顯著性圖像映射，表示V分量的顯著性圖像映射，c表示細尺度，s表示粗尺度，表示映射圖的跨尺度相加,N(.)表示標準化；

將三個3個獨立顯著性圖像映射和V整合為一個顯著圖S_hsv；

Shsv=13(N(H‾)+N(S‾)+N(V‾))---(7)]]>

式中，S_hsv表示顯著圖，N(.)表示標準化；

（3）在顯著圖S_hsv以及顏色分量H中，采用SIFT算法來抽取和描述局部特征，得到顯著圖S_hsv的特征向量和顏色分量H的特征向量

xc={xc1,xc2,···,xc128};]]>

首先對顯著圖S_hsv采用標準的K均值聚類來構建詞典，詞典大小設定為n’，則詞典里面有n’個視覺詞匯；詞典構建就是將顯著圖S_hsv中所有的局部特征聚成n’個聚類中心，然后將一個聚類中心當作是一個視覺詞匯，則詞典里的n’個視覺詞匯可以表示為詞典里面的n’個視覺詞匯分別對應一個索引值I_S=[0,1,2,...,n'-2,n'-1]；

詞典構建完畢后，需要進行詞典量化并且進行索引值分配；詞典量化就是把從顯著圖S_hsv中提取的每一個局部特征映射到它最接近的視覺詞匯上去，索引值分配就是給每一個局部特征所在的坐標點賦予一個對應的視覺詞匯索引值v，最后經過詞典量化的顯著圖S_hsv表示為M_S(x,y)=v,；

采用相同辦法對顏色分量H進行處理，則經過詞典量化后的顏色分量H表示為M_C(x,y)=w,；

（4）將HSV顏色空間圖像從柱狀坐標系變換為笛卡爾坐標系，假設(H,S,V)為柱狀坐標系上的一個點，(H',S',V')為(H,S,V)在笛卡爾坐標系上的轉換，其中H'=S·cos(H),S'=S·sin(H)和V'=V；假設在HSV顏色空間圖像中有一個像素點(x,y)，該像素點周邊有8個點，分別表示為(x_i,y_i),i=1,2,..,8,則標準刺激的強度I可以定義為：

在上述公式（8）中，周邊每個點和中心點都可以計出一個均勻顏色差別值I_i,i=1,2,...,8：

此時，代表刺激的最小可覺差△I=min(I₁,I₂,...,I₈)，即△I取I₁～I₈中的最小值；

判斷HSV顏色空間圖像中的各像素點是否滿足Weber原理，即△I/I=K，其中ΔI代表刺激的最小可覺差，I代表標準刺激的強度，K是設定的特定感覺道的定值，則保留該像素點(x,y)處的視覺詞匯，否則將像素點(x,y)處的視覺詞匯刪除；由此形成顯著圖S_hsv的視覺詞匯圖像W_s(x,y)和顏色分量H的視覺詞匯圖像W_c(x,y)；

（5）以視覺詞匯圖像W_s(x,y)和W_c(x,y)為基準，分別對它們進行視覺詞匯的局部結構檢測，可以得到基于顯著圖的局部結構模式和基于顏色的局部結構模式；視覺詞匯的局部結構檢測方法如下：

在W_s(x,y)中，將它劃分為一系列2×2的，相互不重疊方格；然后判斷2×2方格中是否為設定的局部結構模式中的一種，如果出現了其中一種局部結構模式，則該2×2方格中的視覺詞匯保持不變，否則將2×2方格內的視覺詞匯刪除，最終可得到一個結構圖像T_S(x,y)；采用相同辦法，由W_c(x,y)可以得到W_c(x,y)的結構圖像T_C(x,y)；

以某個結構詞匯為中心，在設定距離d范圍內，如果它的周邊存在若干個具有相同局部結構模式的結構詞匯，則這些結構詞匯的組合稱之為結構語義；

（6）分別統計結構圖像T_S(x,y)和T_C(x,y)中視覺詞匯出現的頻率，并將若干個結構詞匯之間的均勻顏色差別作為權重，最后綜合頻率和均勻顏色差別來描述圖像內容，其中

在結構圖像T_S(x,y)和T_C(x,y)中，視覺詞匯出現的頻率計算方法如下：

H_s(i)=card{(x,y)|T_s(x,y)=i}/(wid×hei)?????????（10）

H_C(j)=card{(x,y)|T_C(x,y)=j}/(wid×hei)???????（11）

上述兩式中，H_s(i)表示T_S(x,y)中視覺詞匯出現的頻率，其中；H_C(j)表示T_C(x,y)中視覺詞匯出現的頻率，其中；card{.}表示統計詞匯個數，分別是統計T_S(x,y)中的顯著圖詞匯和T_C(x,y)中的顏色詞匯，wid和hei分別表示圖像寬和圖像高；

計算均勻顏色差別的方法如下：

假設在結構圖像T_S(x,y)和T_C(x,y)中有兩個結構詞匯，它們所在位置分別對應兩個坐標點(x,y)和(x',y')，在笛卡爾坐標系中，這兩個坐標點分別對應的HSV顏色值為(H'(x,y),S'(x,y),V'(x,y))和(H'(x',y'),S'(x',y'),V'(x',y')),則它們之間顏色差別△cd計算方法如下：

CDS(i)表示顯著圖詞匯的顏色差別直方圖，CDC(j)表示顏色詞匯的顏色差別直方圖，它們分別定義如下:

上述兩式中，△cd_s表示結構圖像T_S(x,y)中，兩個坐標點(x,y)和(x',y')之間的顏色差別；△cd_c表示結構圖像T_C(x,y)中，兩個坐標點(x,y)和(x',y')之間的顏色差別；T_s(x,y)=T_s(x',y')表示在結構圖像T_S(x,y)中兩個坐標點(x,y)和(x',y')所對應的視覺詞匯具有相同索引值i，；T_c(x,y)=T_c(x',y')表示在結構圖像T_C(x,y)中兩個坐標點(x,y)和(x',y')所對應的視覺詞匯具有相同索引值j，；

顯著圖詞匯的結構語義直方圖SH(i)和顏色詞匯的結構語義直方圖CH(j)，它們分別定義如下：

SH(i)=CDS(i)×H_s(i),i=0,1,...,n-1??????????（15）

CH(j)=CDC(j)×H_c(j),j=0,1,2,..,n-1???????（16）

SSH=concac{SH(i),CH(j)}???????????（17）

上述三式中，concac{.}表示將上述兩個直方圖串聯起來形成一個最終的直方圖，即是結構語義直方圖SSH；i和j用做直方圖的下標；在CDS(i)和H_S(i)中，i=0,1,2,...,n-1表示顯著圖詞匯的索引值；在CDC(j)和CH(j)中，j=0,1,2,...,n-1表示顏色詞匯索引值；

（7）將結構語義直方圖中的特征向量作為最終特征應用于圖像檢索，并且采用L1距離來進行圖像匹配。