[發(fā)明專利]一種基于n元圖片索引結(jié)構(gòu)的圖片檢索方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201210523756.5
• 申請(qǐng)日: 2012-12-07
• 公開（公告）號(hào): CN103853797A
• 公開（公告）日: 2014-06-11
• 發(fā)明（設(shè)計(jì)）人: 陸平;董振江;羅圣美;劉麗霞;陳清財(cái);劉勝宇
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司;哈爾濱工業(yè)大學(xué)深圳研究生院
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06K9/46
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 解婷婷;龍洪

技術(shù)領(lǐng)域

本發(fā)明涉及圖像檢索方法與系統(tǒng)，具體涉及一種基于n元(n-gram)圖片索引的圖片檢索方法與系統(tǒng)，主要應(yīng)用于圖像檢索領(lǐng)域。

背景技術(shù)

目前，圖片檢索主要分為兩種方式，基于文本的圖片檢索(text-based?image?retrieval)和基于內(nèi)容的圖片檢索(content-based?image?retrieval)。在傳統(tǒng)的基于文本的圖片檢索系統(tǒng)(TBIR)中，圖片通常是經(jīng)過人工標(biāo)注后，用戶通過關(guān)鍵詞檢索所需要的圖片。這種方式的明顯缺點(diǎn)是圖片必須通過人工進(jìn)行標(biāo)注，在信息大爆炸的今天，這種方式是不現(xiàn)實(shí)的。為克服基于文本的圖片檢索的缺點(diǎn)，基于內(nèi)容的圖片檢索方式在上世紀(jì)八十年代應(yīng)運(yùn)而生，其中1984年Chang在這方面做了開創(chuàng)性的工作。所謂基于內(nèi)容的圖片檢索(CBIR)，是指通過提取圖片原始的底層視覺特征(如顏色特征，紋理特征，形狀特征等)對(duì)圖片進(jìn)行索引，并最終通過圖片的底層特征進(jìn)行圖片搜索的方式。較為著名的商業(yè)性的基于內(nèi)容的圖片檢索工具有QBIC、Photobook、Virage、VisualSEEK、Netra和SIMPLIcity。

當(dāng)前常用的圖片檢索系統(tǒng)，大多都是對(duì)圖片數(shù)據(jù)集中的圖片提取高維底層特征向量，通過對(duì)這些高維底層特征向量建立索引，或者對(duì)帶有圖片標(biāo)注的圖像，通過文本標(biāo)簽對(duì)圖像建立索引。用戶則通過提交文本或者示圖像對(duì)索引系統(tǒng)進(jìn)行檢索。然而，通過這種方法的檢索系統(tǒng)的檢索效果和效率并不理想，其主要原因是通過底層特征進(jìn)行檢索本身就存在“語義鴻溝”問題，而且通過對(duì)高維底層特征建立的索引系統(tǒng)隨著索引圖片的數(shù)量的急劇增長(zhǎng)，的檢索效率非常低下，因此當(dāng)前圖片搜索引擎的索引圖片數(shù)量也有限，其用戶檢索的圖片效果不理想。并且當(dāng)前大多數(shù)圖片檢索系統(tǒng)都沒有利用到圖片中帶有的空間特征信息。當(dāng)前解決“語義鴻溝”問題的主要方法是通過對(duì)圖片進(jìn)行自動(dòng)標(biāo)注，而當(dāng)前大多數(shù)圖片搜索引擎并沒有將圖片自動(dòng)標(biāo)注技術(shù)成功運(yùn)用到圖片檢索系統(tǒng)中。

然而，當(dāng)前文本檢索的發(fā)展已相當(dāng)成熟，其索引建立以及檢索技術(shù)都有一定的積累，因此可以從文本檢索方面借鑒相關(guān)技術(shù)，改進(jìn)當(dāng)前的圖片檢索系統(tǒng)的性能。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種基于n-gram圖片索引結(jié)構(gòu)的圖片檢索方法與系統(tǒng)，以提高圖片檢索效率和效果。

為了解決上述技術(shù)問題，本發(fā)明公開了一種基于n元圖片索引結(jié)構(gòu)的圖片檢索方法，包括：

收到用戶的檢索操作時(shí)，判斷用戶輸入的檢索內(nèi)容的形式；

當(dāng)用戶輸入的檢索內(nèi)容的形式為文本形式時(shí)，對(duì)用戶輸入的文本進(jìn)行基于n元圖片索引的文本內(nèi)部向量化處理，利用文本內(nèi)部向量化處理結(jié)果在文本標(biāo)簽內(nèi)的索引下進(jìn)行圖片檢索，將檢索到的圖片按照相似度排序并輸出；

當(dāng)用戶輸入的檢索內(nèi)容的形式為圖片形式時(shí)，對(duì)用戶輸入的圖片進(jìn)行基于n元圖片索引結(jié)構(gòu)的圖片語義自動(dòng)標(biāo)注，基于n元模型提取n元圖片，針對(duì)提取的n元圖片的詞頻-逆向文件頻率(TF-IDF)特征向量在語義標(biāo)注的文本標(biāo)簽內(nèi)的索引中進(jìn)行圖片檢索，將檢索到的圖片按照相似度進(jìn)行排序并輸出。

較佳地，上述方法還包括：

在用戶進(jìn)行檢索操作前，構(gòu)建基于n元圖像的索引，所構(gòu)建的索引包括以圖像n元為索引，以圖像標(biāo)注和圖片詳細(xì)信息為索引對(duì)象的索引結(jié)構(gòu)，以及以圖片標(biāo)注為索引，以圖像n元以及圖片詳細(xì)信息為索引對(duì)象的索引結(jié)構(gòu)。

較佳地，上述方法中，構(gòu)建基于n元圖像的索引的過程如下：

對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”；

根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像n元的圖像詞典；

根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像n元，建立基于n元模型的圖片索引。

較佳地，上述方法，對(duì)用戶輸入的文本進(jìn)行基于n元圖片索引的文本內(nèi)部向量化處理指：

根據(jù)用戶輸入的文本內(nèi)容，基于n元圖片索引結(jié)構(gòu)進(jìn)行檢索，根據(jù)檢索到的圖像n元的概率權(quán)值，對(duì)文本內(nèi)容進(jìn)行內(nèi)部向量化處理。

較佳地，上述方法，利用文本內(nèi)部向量化處理結(jié)果在文本標(biāo)簽內(nèi)的索引下進(jìn)行圖片檢索，將檢索到的圖片按照相似度排序并輸出指：

對(duì)用戶輸入的文本進(jìn)行向量化后，根據(jù)向量化處理后的值對(duì)文本標(biāo)簽內(nèi)的索引下的圖片進(jìn)行相似度計(jì)算，按照計(jì)算得到的相似度的大小對(duì)檢索到的圖片排序并輸出。

本發(fā)明還公開了一種基于n元圖片索引結(jié)構(gòu)的圖片檢索系統(tǒng)，包括判斷單元、第一索引單元和第二索引單元，其中：