[發(fā)明專利]字典學(xué)習(xí)、視覺詞袋特征提取方法及檢索系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410287639.2
• 申請(qǐng)日: 2014-06-24
• 公開（公告）號(hào): CN104036012B
• 公開（公告）日: 2017-06-30
• 發(fā)明（設(shè)計(jì)）人: 唐勝;張勇東;李錦濤;徐作新
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司11280
• 代理人: 王勇

1.一種視覺詞袋特征提取方法，包括下列步驟：

1)從圖像中提取局部特征點(diǎn)及其局部特征向量，并對(duì)該局部特征向量進(jìn)行分段，得到相應(yīng)的第一分段和第二分段；

2)基于第一字典，對(duì)當(dāng)前局部特征向量的第一分段進(jìn)行稀疏編碼，得到相應(yīng)的第一稀疏編碼系數(shù)向量，基于第二字典，對(duì)當(dāng)前局部特征向量的第二分段進(jìn)行稀疏編碼，得到相應(yīng)的第二稀疏編碼系數(shù)向量；其中，第一字典和第二字典根據(jù)以下子步驟得出：2a)基于維度將圖像的局部特征向量分為第一分段和第二分段；2b)用訓(xùn)練集中局部特征向量的第一分段作為列向量，構(gòu)造第一數(shù)據(jù)矩陣，用訓(xùn)練集中局部特征向量的第二分段作為列向量，構(gòu)造第二數(shù)據(jù)矩陣；2c)對(duì)第一數(shù)據(jù)矩陣進(jìn)行稀疏非負(fù)矩陣分解，得到用于對(duì)局部特征向量的第一分段進(jìn)行稀疏編碼的第一字典；對(duì)第二數(shù)據(jù)矩陣進(jìn)行稀疏非負(fù)矩陣分解，得到用于對(duì)局部特征向量的第二分段進(jìn)行稀疏編碼的第二字典；

3)根據(jù)第一稀疏編碼系數(shù)向量和第二稀疏編碼系數(shù)向量中的非零元素所對(duì)應(yīng)的字典基元索引號(hào)，將當(dāng)前局部特征向量分配到視覺詞袋中對(duì)應(yīng)的視覺關(guān)鍵詞；

所述步驟3)中，找出第一稀疏編碼系數(shù)向量中最大非零元素所對(duì)應(yīng)的字典基元索引號(hào)I₁，以及第二稀疏編碼系數(shù)向量中最大非零元素所對(duì)應(yīng)的字典基元索引號(hào)I₂，根據(jù)索引號(hào)組合[I₁、I₂]將當(dāng)前局部特征向量分配到視覺詞袋中對(duì)應(yīng)的一個(gè)視覺關(guān)鍵詞；或者找出第一稀疏編碼系數(shù)向量中最大的兩個(gè)非零元素所對(duì)應(yīng)的字典基元索引號(hào)I₁₁和I₁₂，以及第二稀疏編碼系數(shù)向量中最大的兩個(gè)非零元素所對(duì)應(yīng)的字典基元索引號(hào)I₂₁和I₂₂，根據(jù)索引號(hào)組合[I₁₁、I₂₁]，[I₁₁、I₂₂]，[I₁₂、I₁₁]和[I₁₂、I₂₂]將當(dāng)前局部特征向量軟分配到視覺詞袋中對(duì)應(yīng)的四個(gè)視覺關(guān)鍵詞。

2.根據(jù)權(quán)利要求1所述的視覺詞袋特征提取方法，其特征在于，所述步驟2c)中，稀疏非負(fù)矩陣分解采用在線學(xué)習(xí)算法、MOD算法或者KSVD算法實(shí)現(xiàn)。

3.根據(jù)權(quán)利要求2所述的視覺詞袋特征提取方法，其特征在于，所述步驟2c)中，所述稀疏非負(fù)矩陣分解包括：基于組稀疏編碼優(yōu)化目標(biāo)函數(shù)，求解使組稀疏編碼優(yōu)化目標(biāo)函數(shù)最小化的用于對(duì)向量進(jìn)行稀疏編碼的字典及相應(yīng)的稀疏編碼系數(shù)矩陣。

4.根據(jù)權(quán)利要求3所述的視覺詞袋特征提取方法，其特征在于，所述步驟2c)中，所述組稀疏編碼優(yōu)化目標(biāo)函數(shù)中加入了表達(dá)組內(nèi)稀疏編碼系數(shù)值差異的正則化項(xiàng)。

5.根據(jù)權(quán)利要求1所述的視覺詞袋特征提取方法，其特征在于，所述視覺詞袋特征提取方法還包括步驟：

4)對(duì)于由第一稀疏編碼系數(shù)向量中非零元素所對(duì)應(yīng)的字典基元索引號(hào)I_a和第二稀疏編碼系數(shù)向量中非零元素所對(duì)應(yīng)的字典基元索引號(hào)I_b組成的索引號(hào)組合[I_a、I_b]，令I(lǐng)ndex＝I_a×K+I_b，其中K為第二稀疏編碼系數(shù)向量中元素的個(gè)數(shù)，用Index表示索引號(hào)組合[I_a、I_b]所對(duì)應(yīng)的視覺關(guān)鍵詞。

6.一種基于權(quán)利要求1至5中任意一項(xiàng)所述的視覺詞袋特征提取方法的檢索方法，包括下列步驟：

1)對(duì)于查詢圖片，基于所述的視覺詞袋特征提取方法，將其各個(gè)局部特征點(diǎn)分配到視覺詞袋中對(duì)應(yīng)的視覺關(guān)鍵詞，并提取該查詢圖片的用于幾何驗(yàn)證的元信息；

2)基于倒排索引進(jìn)行特征匹配，進(jìn)而進(jìn)行幾何一致性校驗(yàn)，獲得查詢結(jié)果；所述倒排索引基于視覺關(guān)鍵詞建立，其中對(duì)于每個(gè)視覺關(guān)鍵詞，記錄包含該視覺關(guān)鍵詞的圖像的標(biāo)識(shí)和在該圖像中與該視覺關(guān)鍵詞相對(duì)應(yīng)的用于幾何驗(yàn)證的元信息。

7.一種基于權(quán)利要求1至5中任意一項(xiàng)所述的視覺詞袋特征提取方法的檢索系統(tǒng)，其特征在于，包括通過互聯(lián)網(wǎng)連接的終端模塊和服務(wù)端模塊；

所述終端模塊用于基于權(quán)利要求1至5中任意一項(xiàng)所述的視覺詞袋特征提取方法將當(dāng)前圖像的各個(gè)局部特征向量分配到視覺詞袋中對(duì)應(yīng)的視覺關(guān)鍵詞，并將所述包括視覺關(guān)鍵詞信息的緊湊視覺簽名發(fā)送至服務(wù)端模塊；

所述服務(wù)端模塊用于根據(jù)從移動(dòng)終端模塊接收到的所述緊湊視覺簽名進(jìn)行特征匹配，獲得查詢關(guān)聯(lián)信息，并將該查詢關(guān)聯(lián)信息返回給終端模塊。