[發(fā)明專(zhuān)利]基于隨機(jī)化視覺(jué)詞典組和上下文語(yǔ)義信息的目標(biāo)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210168671.X
• 申請(qǐng)日: 2012-05-28
• 公開(kāi)（公告）號(hào): CN102693311A
• 公開(kāi)（公告）日: 2012-09-26
• 發(fā)明（設(shè)計(jì)）人: 趙永威;李弼程;高毫林;藺博宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍信息工程大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06K9/62
• 代理公司: 鄭州大通專(zhuān)利商標(biāo)代理有限公司 41111
• 代理人: 陳大通

1.一種基于隨機(jī)化視覺(jué)詞典組和上下文語(yǔ)義信息的目標(biāo)檢索方法，其特征是：

首先，采用精確歐氏位置敏感哈希函數(shù)對(duì)訓(xùn)練圖像庫(kù)的局部特征點(diǎn)進(jìn)行聚類(lèi)，生成一組支持動(dòng)態(tài)擴(kuò)充的隨機(jī)化視覺(jué)詞典組；

其次，選取查詢(xún)圖像并用矩形框界定目標(biāo)區(qū)域，然后根據(jù)Lowe的方法提取查詢(xún)圖像和圖像數(shù)據(jù)庫(kù)的SIFT特征并對(duì)其進(jìn)行E²LSH映射，實(shí)現(xiàn)特征點(diǎn)與視覺(jué)單詞的匹配；

然后，在視覺(jué)語(yǔ)言模型的基礎(chǔ)上，利用查詢(xún)目標(biāo)區(qū)域及其周?chē)曈X(jué)單元的圖像顯著度，計(jì)算查詢(xún)圖像中各視覺(jué)單詞的檢索得分，構(gòu)造包含目標(biāo)上下文語(yǔ)義信息的目標(biāo)模型；

最后，將圖像庫(kù)的特征向量存為索引文件，并引入K-L散度對(duì)目標(biāo)的語(yǔ)言模型與圖像庫(kù)中任一圖像的語(yǔ)言模型進(jìn)行相似性度量，得到檢索結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于隨機(jī)化視覺(jué)詞典組和上下文語(yǔ)義信息的目標(biāo)檢索方法，其特征是：對(duì)于每個(gè)哈希函數(shù)g_i(i＝1,…,L)，利用其分別對(duì)訓(xùn)練圖像庫(kù)的SIFT點(diǎn)進(jìn)行哈希映射，空間中距離很近的點(diǎn)就會(huì)存入哈希表的同一個(gè)桶中，以每個(gè)桶中心代表一個(gè)視覺(jué)單詞，則每個(gè)函數(shù)g_i都能生成一個(gè)哈希表，即一個(gè)視覺(jué)詞典，那么，L個(gè)函數(shù)g₁,…,g_L就能夠生成一個(gè)視覺(jué)詞典組，其中，單個(gè)視覺(jué)詞典生成的詳細(xì)過(guò)程可描述如下：

（1）訓(xùn)練圖像庫(kù)的SIFT特征提取：采用目標(biāo)檢索常用的數(shù)據(jù)庫(kù)Oxford5K作為訓(xùn)練圖像庫(kù)檢測(cè)出中所有圖像的SIFT特征點(diǎn)，得到包含K個(gè)點(diǎn)的特征庫(kù)其中每個(gè)點(diǎn)r_i都是一個(gè)128維的SIFT特征向量；

（2）E²LSH降維映射：對(duì)中的每個(gè)SIFT點(diǎn)r，利用g_i函數(shù)對(duì)其進(jìn)行降維映射，得到k維的向量g_i(r)；

（3）E²LSH桶哈希：按式(3)和(4)分別計(jì)算SIFT點(diǎn)r的主哈希值h₁(g_i(r))和次哈希值h₂(g_i(r))：將主、次哈希值相同的點(diǎn)放入同一個(gè)桶中，生成哈希表表示哈希表T_i的第k個(gè)桶，N_i為哈希表T_i中包含桶的個(gè)數(shù)；將每個(gè)桶的中心看作一個(gè)視覺(jué)單詞，便得到視覺(jué)詞典其中

（4）視覺(jué)單詞過(guò)濾：對(duì)于每個(gè)視覺(jué)詞典W_i，包含數(shù)據(jù)點(diǎn)太少或太多的視覺(jué)單詞所攜帶的信息往往不大，因此，在信息損失很小的前提下，可以將這些視覺(jué)單詞濾除掉，為每個(gè)視覺(jué)詞典都保留M個(gè)視覺(jué)單詞，即