[發明專利]融合顏色的顯著特征概率潛在語義模型物體圖像識別方法

有效

• 申請號: 201210062379.X
• 申請日: 2012-03-12
• 公開（公告）號: CN102629328A
• 公開（公告）日: 2012-08-08
• 發明（設計）人: 楊金福;王鍇;李明愛;王陽麗;楊宛露;傅金融
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 樓艮基

1.融合顏色的顯著特征概率潛在語義模型物體圖像識別方法，其特征在于，是在計算機中依次按以下步驟實現的：

機器人訓練階段，按以下步驟進行訓練：

步驟(1)構造訓練數據庫，計算機采集并輸入按物體用途劃分的N種類別、類別編號為1～N的物體圖像，每類物體圖像中包含T幅訓練圖像，構造訓練圖像集合，用P_train表示，總數為：N×T＝Q幅圖像；

步驟(2)按以下步驟采用尺度不變特征變化算法，即SIFT算法，計算所述訓練圖像P_train中的每幅訓練圖像的顯著特征點，加入顏色信息生成顯著特征，用HSV_SIFT表示，從而形成所述訓練圖像集合的HSV_SIFT顯著特征庫O_{HSV_SIFT}：

步驟(2.1)，依次構建所述訓練圖像集合中的每幅圖像，用I_i(x，y)表示，i∈P_train，(x，y)為像素點的坐標，按下式與高斯核函數G(x，y，σ_m)進行m次卷積操作：

G(x,y,σm)=12πσm2e-(x2+y2)2σm2,]]>m＝1...10

其中：σ_m代表尺度因子，初始值σ₀＝1.6，σ_m＝ασ_m-1，由此得到一組共十個高斯金字塔空間L_i(x，y，σ_m)，每個表示為：

L_i(x，y，σ_m)＝G(x，y，σ_m)*I_i(x，y)，i∈P_train

步驟(2.2)，把相鄰兩個高斯金字塔空間按下式相減，得到一組共九個高斯殘差金字塔空間，每個所述高斯殘差金字塔空間表示為Dog_i(x，y，σ_m-1)：

Dog_i(x，y，σ_m-1)＝(G(x，y，ασ_m-1)-G(x，y，σ_m-1))*I_i(x，y)＝L_i(x，y，ασ_m-1)-L_i(x，y，σ_m-1)

步驟(2.3)，把所述每幅圖像i的高斯殘差金字塔空間中，每層的像素點與同一層相鄰的8個像素點、相鄰的上、下兩層各層中處于上下對應位置的9個像素點，共計26個像素點進行比較，若所述每層的像素點比這26個像素點的值都大或者都小，則把每層的像素點作為一個特征點；

步驟(2.4)，按以下步驟從步驟(2.3)中得到的特征點中選擇并保留顯著特征點；

步驟(2.4.1)，把所述每幅訓練圖像各層的高斯殘差金字塔Dog_i(x，y，σ_m-1)在步驟(2.3)得到的特征點處用泰勒展開式表示，并取前兩項得到Dog_i(X_max)，其中X＝(x，y，σ_m-1)，Dog_i，o表示泰勒展開式的第一項，T表示轉置，得到：

Dogi(Xmax)=Dogi,o+12(∂Dogi(X)∂X)TX,]]>其中(∂Dogi(X)∂X)T=(Dogi,x,Dogi,y,Dogi,σm-1)]]>

若|Dog(X_max)|≥0.03，則保留該特征點，否則過濾掉；

步驟(2.4.2)，對位于所述每層高斯殘差金字塔邊緣的特征點，按照下式過濾，若則認為該特征點位于圖像邊緣而將其過濾掉，否則就保留該特征點，Tr(H_hess)是用H_hess表示的Hessian矩陣的跡，Det(H_hess)是用H_hess表示的Hessian矩陣的行，

Hhess=DxxDxyDxyDyy]]>

Tr(H_hess)＝D_xx+D_yy

Det(H_hess)＝D_xxD_yy-(D_xy)²

D_xxD_yy分別是所述泰勒展開式在x方向、y方向的二階偏導數，D_xy是x，y兩個方向的混合偏導數，所述步驟(2.3)、步驟(2.4)中保留下來的特征點稱為顯著特征點；

步驟(2.5)，按下式確定步驟(2.4)中每個顯著特征點的主方向，所述主方向是指每個所述顯著特征點周圍8個像素中最高梯度模對應的梯度方向，每個所述顯著特征點處梯度模的平方e(x，y)²為：

e(x，y)²＝(L_i(x+1，y)-L_i(x-1，y))²+(L_i(x，y+1)-L_i(x，y-1))²

每個所述顯著特征點處梯度方向θ(x，y)為：

θ(x，y)＝tan^-1((Lⁱ(x，y+1)-L_i(x，y-1))/(L_i(x+1，y)-L_i(x-1，y)))

以梯度模為縱坐標、梯度方向為橫坐標的梯度方向直方圖中最高梯度模對應的梯度方向，代表了每個所述顯著特征點的主方向；

步驟(2.6)，生成每個所述顯著特征點的SIFT特征，每個SIFT特征由4×4共16個種子點組成，其中每個所述種子點又是4×4的圖像像素點，每個像素點都有8個方向的向量信息，最終生成4×4×8共128維所述的SIFT特征向量，每個所述SIFT特征向量由梯度模和梯度方向構成；

步驟(2.7)，按以下步驟生成每個所述圖像I_i(x，y)的顏色特征：

步驟(2.7.1)，按下式把每幅圖像I_i(x，y)由RGB顏色空間轉換到HSV顏色空間，其中：

H是角度的色相角，H∈[0°，360°)，

S是飽和度，S∈[0，1]，

V是亮度，V∈[0，1]，

R、G、B，依次表示像素點的紅、綠、藍顏色分量值，

設max＝max(R，G，B)，min＝min(R，G，B)：

V＝max，

步驟(2.7.2)，按以下步驟把所述整個HSV顏色空間量化為72中顏色，生成72維顏色特征，把所述HSV顏色空間中的三個分量H、S、V分別進行不同的等間隔量化，色相角H等分成8份，取值范圍為：0-7，每份對應一個h值，飽和度S等分成3份，取值范圍為：0-2，每份對應一個s值，亮度V等分成3份，取值范圍為：0-2，每份對應一個v值，由如下公式：

ζ＝H*S*V

最終將所述圖像I_i(x，y)的HSV顏色空間量化為72種主要顏色，生成72維顏色特征；

步驟(2.8)，合并所述顯著特征點SIFT特征和所述訓練圖像I_i(x，y)的顏色特征，將所述訓練圖像I_i(x，y)的顏色特征拼接在該訓練圖像中每個顯著特征點SIFT特征后面，構成一個200維的特征，每個稱為：HSV_SIFT顯著特征，也稱視覺單詞，所述訓練圖像集合P_train中的每幅圖像I_i(x，y)，i∈P_train，中全部HSV_SIFT顯著特征構成該訓練圖像的顯著特征庫U_i，所述整個訓練圖像集合中P_train中的全部Q幅圖像的顯著特征庫∑U_i，i＝1，2...Q，從而構成一個HSV_SIFT顯著特征庫O_{HSV_SIFT}；

步驟(3)，按以下步驟構成一個用詞袋模型BOW表示所述HSV_SIFT顯著特征庫O_{HSV_SIFT}，把每幅訓練圖像I_i(x，y)表述為一個包含該訓練圖像中全部HSV_SIFT顯著特征w_ji，w_j，i＝(w_1，i，w_2，i，w_3，i，...，w_j.i，...，w_J.i)，其中：J∈[1，20，J表示該訓練圖像I_i(x，y)內HSV_SIFT顯著特征的數目，也就是視覺單詞j的數目，

wji=tfji×log(Qdfj)]]>

其中：Q表示所述訓練圖像集合P_train內所有訓練圖像的數目，

tf_ji表示是一個視覺單詞j在每幅所述訓練圖像I_i(x，y)顯著特征庫U_i中出現的次數，

df_j表示所述HSV_SIFT顯著特征庫O_{HSV_SIFT}中包含的視覺詞j的數目；

步驟(4)，依次按以下步驟計算所述訓練圖像集合P_train中每幅訓練圖像I_i(x，y)的潛在語義特征向量Z_train，i，其中所述Z_train，i是每幅訓練圖像I_i(x，y)中潛在語義主題的集合，K是潛在語義主題的個數，在取值上與所述訓練集合P_train內訓練圖像的類別N有以下關系：K＝N±5，所述潛在語義主題是指每幅所述訓練圖像I_i(x，y)中一些具體物體的概念化表述：

步驟(4.1)，初始化，對P(d_i|z_k)和P(w_j，i|z_k)分別賦予一個0到1之間的隨機數作為初始值，其中：P(z_k|d_i)為每幅所述訓練圖像I_i(x，y)潛在語義主題z_k，k∈[1，K]的分布概率，P(w_j，i|z_k)為所述潛在語義主題z_k在所述視覺單詞中的分布概率；

步驟(4.2)，按下式計算每幅用d_i表示的所述訓練圖像中任何一個視覺單詞w_j，i對產生所述潛在語義主題z_k的后驗概率P(z_k|d_i，w_j)：

P(zk|di,wj,i)=P(wj,i|zk)P(zk|di)Σk=1KP(wj,i|zk)P(zk|di)]]>

步驟(4.3)，按下式分別計算步驟(4.2)所述的P(z_k|d_i)和P(w_j，i|z_k)，其中，π(d_i，w_j，i)為用d_i表示的每幅訓練圖像中所述視覺單詞w_j，i出現的次數：

P(wj,i|zk)=Σi=1Qπ(di,wj,i)P(zk|di,wj,i)Σj=1JΣi=1Qπ(di,wj,i)P(zk|di,wj,i)]]>

P(zk|di)=Σj=1Jπ(di,wj,i)P(zk|di,wj,i)Σj=1JΣi=1Qπ(di,wj,i)P(zk|di,wj,i)]]>

步驟(4.4)，按下式計算所述訓練圖像集合P_train中每幅訓練圖像d_i中的潛在語義特征向量Z_train，i：

Z_train，i＝{z_1，i，z_2，i，z_3，i，...，z_K，i}，i∈P_train；

步驟(4.4.1)，根據步驟(4.2)和(4.3)把得到所述潛在語義特征z_k在用d_i表示的每幅訓練圖像中的后驗概率P(z_k|d_i，w_j，i)；

步驟(4.4.2)，按下式計算第λ次似然函數Likelihood_λ：

Likelihoodλ=Σi=1QΣj=1Jπ(di,wj,i)log(di,wj,i);]]>

步驟(4.4.3)，按用d_i表示的每幅訓練圖像中每出現一次視覺單詞w_j，i作為迭代次數，判斷相鄰兩次迭代中所述似然函數增加量的值，當小于一個設定閾值φ＝0.5時便停止迭代，得到所述訓練圖像集合P_train中每幅圖像I_i(x，y)的潛在語義特征向量Z_train，i，否則，便繼續迭代，直到所屬函數的增加量小于φ＝0.5為止；

φ＝Likelihood_λ-Likelihood_λ-1；

機器人識別階段，按以下步驟進行識別：

步驟(5)，按步驟(1)～步驟(4)計算出實時采集的測試圖像集合P_test中，每幅所述實時采集的測試圖像潛在語義特征向量Z_{test，i′}：

Z_{test，i′}＝{z_1，i′，z_2，i′，z_3，i′，...，z_K，i′}，i′∈P_test；

步驟(6)，利用下述最近鄰KNN分類器模型，計算所述訓練圖像P_train與所述實時采集的測試圖像集合P_train在潛在語義特征向量上的距離Dis，距離最小的類別就是對應的物體類別：

Dis=Ztrain,i-Ztest,i′.]]>