[發(fā)明專利]一種視覺與語義相似性約束的圖像檢索方法

在審

• 申請?zhí)枺?/td>: 201310342904.8
• 申請日: 2013-08-07
• 公開（公告）號: CN103425768A
• 公開（公告）日: 2013-12-04
• 發(fā)明（設(shè)計(jì)）人: 毛金蓮
• 申請（專利權(quán)）人: 浙江商業(yè)職業(yè)技術(shù)學(xué)院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 張法高

1.一種保持視覺與語義相似性的圖像檢索方法，其特征在于包括如下步驟：

1）采用L1圖和KNN圖的兩種不同構(gòu)圖算法，分別對圖像視覺相似性和語義相似性進(jìn)行建模：

對視覺相似性建模：以圖像集原始視覺特征X＝[x₁,...,x_n]作為L1圖的頂點(diǎn)，L1圖的邊權(quán)重矩陣W＝[w₁,...,w_n]，其中w_i計(jì)算如下：

min||wi||1s.t.||xi-Xwi||≤ϵ,wii=0,∀i---1]]>

其中，x_i為第i幅圖像的原始視覺特征，w_i為矩陣W的第i列，ε為誤差系數(shù)，w_ii為向量w_i的第i個(gè)分量；

構(gòu)建視覺相似性L1圖約束如下：

minRg=Σi=1n||vi-Vwi||2=||V-VW||F2---2]]>

=tr(V(I-W)(I-W)TVT)=tr(VLgVT)]]>

其中，L_g＝(I-W)(I-W)^T，V＝[v₁,...,v_n]為圖像集在子空間上的特征表達(dá)，I為單位矩陣；對語義相似性建模：以圖像集原始視覺特征X＝[x₁,...,x_n]作為KNN圖的頂點(diǎn)，KNN圖的邊權(quán)重矩陣S中設(shè)置如下：

構(gòu)建語義相似性KNN圖約束如下：

minRs=12Σi,j=1n(vi-vj)2Sij=tr(VLsVT)---4]]>

其中，L_s＝D-S，S_ij為矩陣S中第i行第j列上的元素，D_ii為矩陣D上第i行第i列上的元素；

2）將得到的L1圖約束和KNN圖約束加入到傳統(tǒng)的非負(fù)矩陣分解算法框架中，構(gòu)建保持視覺與語義相似性的非負(fù)矩陣矩陣分解算法模型：

minU,V≥0||X-UV||F2+γ·{α·Rg+(1-α)·Rs}]]>

=minU,V≥0||X-UV||F2+γ·{V(α·Lg+(1-α)·Ls)VT}]]>????5

其中，α和γ為正則化參數(shù)，U為保持視覺和語義相似性的圖像基矩陣，V為圖像基矩陣U所展開的子空間中的特征表達(dá)；

3）利用圖像數(shù)據(jù)集對公式5算法模型進(jìn)行訓(xùn)練，計(jì)算得到保持視覺和語義相似性的圖像基矩陣U和所有圖像在圖像基矩陣U所展開的子空間中的特征表達(dá)V，計(jì)算方法如下：

i)隨機(jī)初始化U和V矩陣，令中間變量L＝α·L_g+(1-α)·L_s；

ii)迭代計(jì)算Uij←Uij(XVT)ij(UVVT)ij]]>和Vij←Vij(UTX+γVL-)ij(UTUV+γL+)ij]]>直到收斂，其中L+=12(L+|L|),]]>|L|為矩陣L中所有元素取對應(yīng)絕對值所構(gòu)成的矩陣；

4）在進(jìn)行圖像檢索時(shí)，將作為檢索參考的圖像x轉(zhuǎn)換到圖像基矩陣U所展開的子空間中，得到新的特征表達(dá)v，計(jì)算如下：

v＝(U^TU)^-1U^Tx＝Mx，????6

其中，M＝(U^TU)^-1U^T，U^T為矩陣U轉(zhuǎn)置，(U^TU)^-1為U^TU的逆矩陣；

5）依據(jù)步驟4）得到的v，計(jì)算v與圖像數(shù)據(jù)集中任一圖像x_i的特征表達(dá)v_i之間的距離s_i，計(jì)算公式如下：

s_i＝exp(-||v-v_i||²)????7

最后根據(jù)距離s_i對圖像數(shù)據(jù)集中所有圖像進(jìn)行排序，返回距離值最小的前K個(gè)圖像給用戶，從而實(shí)現(xiàn)圖像檢索。