[發(fā)明專利]一種基于n元圖片索引結(jié)構(gòu)的圖片檢索方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201210523756.5
• 申請(qǐng)日: 2012-12-07
• 公開(kāi)（公告）號(hào): CN103853797A
• 公開(kāi)（公告）日: 2014-06-11
• 發(fā)明（設(shè)計(jì)）人: 陸平;董振江;羅圣美;劉麗霞;陳清財(cái);劉勝宇
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司;哈爾濱工業(yè)大學(xué)深圳研究生院
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06K9/46
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 解婷婷;龍洪

1.一種基于n元圖片索引結(jié)構(gòu)的圖片檢索方法，其特征在于，該方法包括：

收到用戶的檢索操作時(shí)，判斷用戶輸入的檢索內(nèi)容的形式；

當(dāng)用戶輸入的檢索內(nèi)容的形式為文本形式時(shí)，對(duì)用戶輸入的文本進(jìn)行基于n元圖片索引的文本內(nèi)部向量化處理，利用文本內(nèi)部向量化處理結(jié)果在文本標(biāo)簽內(nèi)的索引下進(jìn)行圖片檢索，將檢索到的圖片按照相似度排序并輸出；

當(dāng)用戶輸入的檢索內(nèi)容的形式為圖片形式時(shí)，對(duì)用戶輸入的圖片進(jìn)行基于n元圖片索引結(jié)構(gòu)的圖片語(yǔ)義自動(dòng)標(biāo)注，基于n元模型提取n元圖片，針對(duì)提取的n元圖片的詞頻-逆向文件頻率(TF-IDF)特征向量在語(yǔ)義標(biāo)注的文本標(biāo)簽內(nèi)的索引中進(jìn)行圖片檢索，將檢索到的圖片按照相似度進(jìn)行排序并輸出。

2.如權(quán)利要求1所述的方法，其特征在于，該方法還包括：

在用戶進(jìn)行檢索操作前，構(gòu)建基于n元圖像的索引，所構(gòu)建的索引包括以圖像n元為索引，以圖像標(biāo)注和圖片詳細(xì)信息為索引對(duì)象的索引結(jié)構(gòu)，以及以圖片標(biāo)注為索引，以圖像n元以及圖片詳細(xì)信息為索引對(duì)象的索引結(jié)構(gòu)。

3.如權(quán)利要求2所述的方法，其特征在于，構(gòu)建基于n元圖像的索引的過(guò)程如下：

對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”；

根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像n元的圖像詞典；

根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像n元，建立基于n元模型的圖片索引。

4.如權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，對(duì)用戶輸入的文本進(jìn)行基于n元圖片索引的文本內(nèi)部向量化處理指：

根據(jù)用戶輸入的文本內(nèi)容，基于n元圖片索引結(jié)構(gòu)進(jìn)行檢索，根據(jù)檢索到的圖像n元的概率權(quán)值，對(duì)文本內(nèi)容進(jìn)行內(nèi)部向量化處理。

5.如權(quán)利要求4所述的方法，其特征在于，利用文本內(nèi)部向量化處理結(jié)果在文本標(biāo)簽內(nèi)的索引下進(jìn)行圖片檢索，將檢索到的圖片按照相似度排序并輸出指：

對(duì)用戶輸入的文本進(jìn)行向量化后，根據(jù)向量化處理后的值對(duì)文本標(biāo)簽內(nèi)的索引下的圖片進(jìn)行相似度計(jì)算，按照計(jì)算得到的相似度的大小對(duì)檢索到的圖片排序并輸出。

6.一種基于n元圖片索引結(jié)構(gòu)的圖片檢索系統(tǒng)，其特征在于，該系統(tǒng)包括判斷單元、第一索引單元和第二索引單元，其中：

所述判斷單元，收到用戶的檢索操作時(shí)，判斷用戶輸入的檢索內(nèi)容的形式，當(dāng)用戶輸入的檢索內(nèi)容的形式為文本形式時(shí)，將用戶輸入的文本發(fā)送給所述第一索引單元，當(dāng)用戶輸入的檢索內(nèi)容的形式為圖片形式時(shí)，將用戶輸入的圖片發(fā)送給所述第二索引單元；

所述第一索引單元，對(duì)用戶輸入的文本進(jìn)行基于n元圖片索引的文本內(nèi)部向量化處理，利用文本內(nèi)部向量化處理結(jié)果在文本標(biāo)簽內(nèi)的索引下進(jìn)行圖片檢索，將檢索到的圖片按照相似度排序并輸出；

所述第二索引單元，對(duì)用戶輸入的圖片進(jìn)行基于n元圖片索引結(jié)構(gòu)的圖片語(yǔ)義自動(dòng)標(biāo)注，基于n元模型提取n元圖片，針對(duì)提取的n元圖片的詞頻-逆向文件頻率(TF-IDF)特征向量在語(yǔ)義標(biāo)注的文本標(biāo)簽內(nèi)的索引中進(jìn)行圖片檢索，將檢索到的圖片按照相似度進(jìn)行排序并輸出。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，該系統(tǒng)還包括：

基于n元圖片索引構(gòu)建單元，建立基于n元圖像的索引，該索引包括以圖像n元為索引，以圖像標(biāo)注和圖片詳細(xì)信息為索引對(duì)象的索引結(jié)構(gòu)，以及以圖片標(biāo)注為索引，以圖像n元以及圖片詳細(xì)信息為索引對(duì)象的索引結(jié)構(gòu)。

8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述基于n元圖片索引構(gòu)建單元分為：

“圖像詞典”構(gòu)建部件，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”，根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像n元的圖像詞典；

索引構(gòu)建部件，根據(jù)所述“圖像詞典”構(gòu)建部件所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像n元，建立基于n元模型的圖片索引。

9.如權(quán)利要求6至8任一項(xiàng)所述的系統(tǒng)，其特征在于，所述第一索引單元對(duì)用戶輸入的文本進(jìn)行基于n元圖片索引的文本內(nèi)部向量化處理指：

根據(jù)用戶輸入的文本內(nèi)容，基于n元圖片索引結(jié)構(gòu)進(jìn)行檢索，根據(jù)檢索到的圖像n元的概率權(quán)值，對(duì)文本內(nèi)容進(jìn)行內(nèi)部向量化處理。

10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述第一索引單元利用文本內(nèi)部向量化處理結(jié)果在文本標(biāo)簽內(nèi)的索引下進(jìn)行圖片檢索，將檢索到的圖片按照相似度排序并輸出指：

對(duì)用戶輸入的文本進(jìn)行向量化后，根據(jù)向量化處理后的值對(duì)文本標(biāo)簽內(nèi)的索引下的圖片進(jìn)行相似度計(jì)算，按照計(jì)算得到的相似度的大小對(duì)檢索到的圖片排序并輸出。