[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)以及樹(shù)與哈希結(jié)合索引的圖像檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710291221.2
• 申請(qǐng)日: 2017-04-28
• 公開(kāi)（公告）號(hào): CN107180079B
• 公開(kāi)（公告）日: 2020-04-28
• 發(fā)明（設(shè)計(jì)）人: 文貴華;梁倜
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06F16/51
• 分類號(hào): G06F16/51;G06F16/583;G06F16/901;G06N3/04
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)以及樹(shù)與哈希結(jié)合索引的圖像檢索方法，步驟包括：S1、采集圖像庫(kù)，并對(duì)圖像庫(kù)訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型；S2、對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征提取得到特征庫(kù)；S3、采用基于樹(shù)與哈希結(jié)合的索引方法對(duì)特征庫(kù)建立索引；S4、根據(jù)索引內(nèi)的特征向量v進(jìn)行檢索，得到Top?n結(jié)果。本發(fā)明采用樹(shù)與哈希結(jié)合的索引方法相對(duì)于純哈希算法來(lái)說(shuō)可以在保證相同檢索時(shí)間的條件下使得檢索效果更好。

技術(shù)領(lǐng)域

本發(fā)明涉及海量圖片檢索應(yīng)用在計(jì)算機(jī)的技術(shù)領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)以及樹(shù)與哈希結(jié)合索引的圖像檢索方法。

背景技術(shù)

基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法已經(jīng)得到了實(shí)踐上的檢驗(yàn)，特別是vgg和googlenet在2014年imagenet競(jìng)賽中名列前茅。基于卷積神經(jīng)網(wǎng)絡(luò)模型提取的特征具有旋轉(zhuǎn)不變性，魯棒性較強(qiáng)。

由于基于卷積神經(jīng)網(wǎng)絡(luò)提取的特征一般維度都比較高，如果是一個(gè)海量的人臉圖片特征庫(kù)，那么如果要進(jìn)行線性掃描，那么效率會(huì)很低，所以需要一種可以快速訪問(wèn)特定圖片的方法。所以基于內(nèi)容的圖像檢索技術(shù)(CBIR)應(yīng)運(yùn)而生。

CBIR中的索引方法主要分為兩種，一種是基于樹(shù)的索引方法，另一種是基于哈希的索引方法。基于樹(shù)的方法主要是通過(guò)對(duì)數(shù)據(jù)集進(jìn)行空間上的劃分來(lái)達(dá)到檢索引導(dǎo)的目的。而基于哈希的索引方法主要是通過(guò)哈希函數(shù)對(duì)數(shù)據(jù)進(jìn)行哈希映射，使得相近的數(shù)據(jù)有很大概率會(huì)被哈希到同一個(gè)“桶”中，而想差較大的數(shù)據(jù)有很小的概率被哈希到同一個(gè)“桶”中。而由于基于樹(shù)的索引方法在數(shù)據(jù)維度較高的情況下檢索時(shí)間效率很差，所以目前的研究重點(diǎn)主要集中在基于哈希的索引方法上，其中效果比較好的方法有E2LSH和S2JSD-LSH。而基于樹(shù)的空間劃分方法也不是一無(wú)是處，可以通過(guò)對(duì)數(shù)據(jù)集進(jìn)行空間上的劃分，使得劃分后的數(shù)據(jù)集的純度變高，然后再分別對(duì)每個(gè)子數(shù)據(jù)集構(gòu)建哈希索引會(huì)使得在不犧牲檢索時(shí)間效率的情況下提升檢索效果。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)存在的缺點(diǎn)與不足，本發(fā)明提供一種基于卷積神經(jīng)網(wǎng)絡(luò)以及樹(shù)與哈希結(jié)合索引的圖像檢索方法，在不影響檢索時(shí)間效率的條件下改進(jìn)了哈希索引的檢索效果，并且通過(guò)樹(shù)與哈希結(jié)合的索引方法建立索引，達(dá)到對(duì)檢索過(guò)程進(jìn)行引導(dǎo)的目的。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：一種基于卷積神經(jīng)網(wǎng)絡(luò)以及樹(shù)與哈希結(jié)合索引的圖像檢索方法，包括如下步驟：

S1、采集圖像庫(kù)，并對(duì)圖像庫(kù)訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型；

S2、對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征提取得到特征庫(kù)；

S3、采用基于樹(shù)與哈希結(jié)合的索引方法對(duì)特征庫(kù)建立索引；

S4、根據(jù)索引內(nèi)的特征向量v進(jìn)行檢索，得到Top-n結(jié)果。

進(jìn)一步地，所述步驟S1的采集圖像庫(kù)，其需根據(jù)具體情況和不同的要求采集不同類型的圖像，但是采集的圖像必需先進(jìn)行標(biāo)注，然后根據(jù)這些標(biāo)注好的圖像訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型。

進(jìn)一步地，所述步驟S3，具體為：

S31、使用GINI指數(shù)對(duì)特征庫(kù)進(jìn)行空間上的劃分，從而構(gòu)造樹(shù)；

S32、分別對(duì)樹(shù)的每個(gè)葉子節(jié)點(diǎn)中的特征庫(kù)子集構(gòu)建哈希索引。

進(jìn)一步地，所述步驟S31中，GINI指數(shù)定義為：

式中，D代表特征庫(kù)，n為特征庫(kù)中包括的數(shù)據(jù)類別個(gè)數(shù)，p_i表示第i個(gè)類別的數(shù)據(jù)總數(shù)占D中數(shù)據(jù)總數(shù)的比例；

其中，特征庫(kù)D經(jīng)過(guò)index維度的indexValue值進(jìn)行劃分：