[發(fā)明專利]字典學(xué)習(xí)、視覺(jué)詞袋特征提取方法及檢索系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410287639.2
• 申請(qǐng)日: 2014-06-24
• 公開（公告）號(hào): CN104036012B
• 公開（公告）日: 2017-06-30
• 發(fā)明（設(shè)計(jì)）人: 唐勝;張勇東;李錦濤;徐作新
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司11280
• 代理人: 王勇

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體內(nèi)容分析與檢索技術(shù)領(lǐng)域，具體地說(shuō)，本發(fā)明涉及一種字典學(xué)習(xí)、視覺(jué)詞袋特征提取方法及檢索系統(tǒng)。

背景技術(shù)

視覺(jué)搜索簡(jiǎn)單地說(shuō)就是“以圖搜圖”。為實(shí)現(xiàn)視覺(jué)搜索，首先需要對(duì)大規(guī)模圖像庫(kù)提取特征建立索引庫(kù)，在用戶搜索時(shí)，對(duì)查詢圖像提取特征，在特征索引庫(kù)中快速檢索并按相關(guān)性(即相似度)排序，返回結(jié)果。這個(gè)結(jié)果是一個(gè)排序的庫(kù)中圖像列表，其中每個(gè)結(jié)果圖像可能包含與查詢圖像相關(guān)、結(jié)合用戶特征和搜索場(chǎng)景的關(guān)聯(lián)信息。目前，面向PC的傳統(tǒng)視覺(jué)搜索已經(jīng)積累了大量算法和技術(shù)方案可供選擇。然而，隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，人們對(duì)移動(dòng)視覺(jué)搜索有了越來(lái)越高的需求。移動(dòng)視覺(jué)搜索具有移動(dòng)化、網(wǎng)絡(luò)化和智能化等特點(diǎn)，它通過(guò)為用戶提供“所見(jiàn)即所知”的新一代搜索服務(wù)，便捷地將身邊現(xiàn)實(shí)世界的視覺(jué)對(duì)象關(guān)聯(lián)至互聯(lián)網(wǎng)信息世界的視覺(jué)對(duì)象，成為鏈接現(xiàn)實(shí)世界和信息世界的橋梁和紐帶。圖1示出了一種典型的移動(dòng)視覺(jué)搜索的構(gòu)架，它通過(guò)智能手機(jī)、平板電腦等移動(dòng)終端獲取現(xiàn)實(shí)世界中對(duì)象的圖像或視頻，然后進(jìn)行特征提取，再通過(guò)移動(dòng)互聯(lián)網(wǎng)將所提取的特征傳輸至服務(wù)器，服務(wù)器基于大規(guī)模數(shù)據(jù)庫(kù)進(jìn)行大規(guī)模視覺(jué)搜索，再將搜索結(jié)果返回給移動(dòng)終端，從而實(shí)現(xiàn)“所見(jiàn)即所知”的效果。例如在一個(gè)應(yīng)用場(chǎng)景中，用手機(jī)拍攝一個(gè)古董，然后對(duì)所拍攝圖片進(jìn)行檢索，即可快速便捷地獲得該古董的名稱、形狀尺寸、歷史典故、評(píng)論等相關(guān)信息，這極大地提升了用戶體驗(yàn)，真正地實(shí)現(xiàn)了“所見(jiàn)即所知”的效果。可以說(shuō)，移動(dòng)視覺(jué)搜索極具想象空間，具有廣闊的應(yīng)用前景。

然而，移動(dòng)視覺(jué)搜索還面臨一系列需要克服的難點(diǎn)，主要體現(xiàn)在：

(1)移動(dòng)終端拍攝隨意性較大，旋轉(zhuǎn)縮放、內(nèi)容刪減和背景干擾、尤其是視角變化造成的仿射形變等因素往往導(dǎo)致查詢圖像與庫(kù)圖像之間存在嚴(yán)重的視覺(jué)形變，全局顏色、紋理等傳統(tǒng)特征很難適用，因而需要研究更為魯棒的局部特征提取方法。

(2)面對(duì)無(wú)線網(wǎng)絡(luò)環(huán)境的帶寬有限、帶寬波動(dòng)、時(shí)延和獲取等方面挑戰(zhàn)，需要研究視覺(jué)查詢的緊湊表示。發(fā)送圖像的緊湊視覺(jué)簽名，比傳送整張圖像更具優(yōu)勢(shì)，不僅可降低資費(fèi)，且可避免不必要的大量上行數(shù)據(jù)傳輸造成的傳輸延遲，大幅提升用戶體驗(yàn)。

(3)移動(dòng)終端的處理器性能、內(nèi)存和電力資源有限，因此需要研究適合于移動(dòng)終端的特征提取與表示算法，以滿足實(shí)際應(yīng)用中對(duì)移動(dòng)終端內(nèi)存占用、處理速度和精度的需求。

綜上所述，圍繞移動(dòng)智能終端，針對(duì)視覺(jué)查詢進(jìn)行魯棒特征提取和緊湊表示，在不損失基于原始圖像的檢索性能前提下，亟待突破特征提取速度慢、內(nèi)存開銷大、數(shù)據(jù)不緊致的瓶頸；這也是多媒體信號(hào)處理、圖像分析與檢索等多個(gè)交叉研究領(lǐng)域共同關(guān)注的問(wèn)題。

視覺(jué)特征的魯棒性、區(qū)分性和緊湊性和提取算法的高效性是保證移動(dòng)視覺(jué)搜索系統(tǒng)精度的重要前提。由于前述移動(dòng)終端拍攝的隨意性造成的巨大視覺(jué)差異，對(duì)特征的魯棒性提出了更高的要求，全局顏色、紋理等傳統(tǒng)特征很難適用。局部特征是指從角點(diǎn)、邊緣、斑塊等局部顯著結(jié)構(gòu)的圖像區(qū)塊中提取的視覺(jué)特征。與圖像分割產(chǎn)生的區(qū)域不同，局部區(qū)塊允許互相重疊，而且在不同圖像條件下檢測(cè)到的局部區(qū)塊具有很高的可重復(fù)性。局部特征對(duì)旋轉(zhuǎn)平移、尺度縮放、光照變化、視角變化、物體運(yùn)動(dòng)、遮擋、裁剪等具有較好的魯棒性，已成為近幾年來(lái)的研究熱點(diǎn)。

文獻(xiàn)K.Mikolajczyk and C.Schmid.“A performance evaluation of local descriptors”,IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),27(10):615-1630,2005.對(duì)一些著名的局部區(qū)塊檢測(cè)算法和描述算法進(jìn)行了比較和總結(jié)，并指出最好的描述子是SIFT描述子。它由Lowe在ICCV’99提出、2004年IJCV完善總結(jié)。SIFT描述子對(duì)圖像尺度縮放、旋轉(zhuǎn)變換和光照變化情況都能保持較好魯棒性，并被證明是現(xiàn)有描述子中穩(wěn)定性和區(qū)分性最好的局部特征描述子。但是SIFT描述子最大的缺陷是高維，存儲(chǔ)和歐式距離的計(jì)算都成問(wèn)題，對(duì)大規(guī)模檢索，這構(gòu)成性能的瓶頸。SIFT特征高達(dá)128維，傳輸每個(gè)SIFT特征都至少需要1024比特(8比特/維)。而一幅512×512的普通圖像中提取的SIFT特征點(diǎn)數(shù)通常高達(dá)上千個(gè)，傳輸SIFT特征所需比特?cái)?shù)甚至超過(guò)傳輸JPEG圖像本身。因此，為了采用盡可能少的特征比特?cái)?shù)傳遞盡可能多的查詢圖像信息，特征量化成為減少傳輸流量、降低網(wǎng)絡(luò)延遲、和降低服務(wù)器端特征存儲(chǔ)占用的重要手段。