[發(fā)明專利]基于卷積特征和空間視覺詞袋模型的場景識別方法

有效

• 申請?zhí)枺?/td>: 201710126371.8
• 申請日: 2017-03-06
• 公開（公告）號: CN106919920B
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 豐江帆;劉媛媛;劉光軍;夏英
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本發(fā)明公開了一種基于卷積特征和空間視覺詞袋模型的場景識別方法。該方法包括：對原始數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行擴(kuò)增技術(shù)，產(chǎn)生大量的、與原數(shù)據(jù)相似、標(biāo)簽不變的訓(xùn)練數(shù)據(jù)；對數(shù)據(jù)庫中的圖像進(jìn)行預(yù)處理，得到符合的場景圖像；利用構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練后得到的參數(shù)設(shè)置，訓(xùn)練得到數(shù)據(jù)庫圖像的卷積特征；將得到的圖像卷積特征用空間視覺詞袋模型進(jìn)行詞典生成特征編碼并形成直方圖矢量；引入并聯(lián)的思想融合多種特征,發(fā)揮其優(yōu)勢并結(jié)合SVM分類器實(shí)現(xiàn)場景分類性能的提高。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)及場景分類識別，尤其涉及一種基于卷積特征和空間視覺詞袋模型的場景識別方法及裝置。

背景技術(shù)

在信息存儲(chǔ)與傳輸技術(shù)的快速發(fā)展的今天，人們?nèi)粘Ｉ钪兴芙佑|數(shù)字圖像信息的方式更加便捷，所能接觸到的圖像數(shù)據(jù)呈現(xiàn)爆炸性的增長。圖像數(shù)量的與日俱增，使得利用計(jì)算機(jī)來更好的完成日益增多的視覺信息處理任務(wù)，成為一項(xiàng)重要的課題。在早期的研究中，是采用人工采集和分類的方式，來獲得場景圖像中更多的信息，但是這種方法耗時(shí)耗力，太過繁瑣。因此如何高效合理地處理圖像數(shù)據(jù)，如何實(shí)現(xiàn)自動(dòng)有效地對場景圖像進(jìn)行分類標(biāo)注，實(shí)現(xiàn)圖像場景信息的自動(dòng)提取，己經(jīng)成為迫切需要解決的難題。

中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)第39次調(diào)查報(bào)告顯示，截止至2016年12月，中國網(wǎng)絡(luò)視頻用戶規(guī)模達(dá)5.45億，而用戶對多媒體的搜索需求日益旺盛，則搜索引擎用戶規(guī)模達(dá)6.02億，且網(wǎng)絡(luò)新聞?dòng)脩粢?guī)模為6.14億，這給大數(shù)據(jù)的圖像檢索提出了更高的要求。面對大量的圖像數(shù)據(jù)，人類對圖像理解包含多個(gè)語義內(nèi)容，其中場景場景語義主要側(cè)重于對圖像整體的認(rèn)知和分析，而不僅僅是圖像內(nèi)部包含的具體地物目標(biāo)，還對圖像中各種對象，以及區(qū)域之間的上下文信息進(jìn)行了分析，使得對圖像的內(nèi)容有了更深層次的認(rèn)識。因此，如何對這些數(shù)字圖像所包含的信息進(jìn)行識別和處理，使計(jì)算機(jī)能夠快速地、準(zhǔn)確地圖像的類別，已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域一個(gè)亟待解決的問題，圖像場景分類技術(shù)就是在這個(gè)背景下產(chǎn)生的。

場景分類，即基于圖像的場景特征來完成場景類別(如高山、森林、臥室、客廳等)的自動(dòng)識別。場景分類是圖像理解領(lǐng)域的一個(gè)重要分支，已成為多媒體信息管理，計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)問題。場景分類對多媒體信息檢索的發(fā)展具有重要意義，在許多領(lǐng)域有著廣泛的應(yīng)用前景和理論意義。

早在2004年，一些學(xué)者首次正式將詞包模型用于圖像場景分類的研究中，并且提出一個(gè)視覺詞包模型算法的圖像場景分類。即通過對圖像中顏色，紋理等低層特征的提取，進(jìn)而統(tǒng)計(jì)圖像中各個(gè)圖像中各種不同特征的分部信息，即把圖像中的圖像塊對應(yīng)為文本中的單詞，實(shí)現(xiàn)了圖像的視覺詞包模型表示。之后，不同的學(xué)者從圖像塊的劃分，局部特征提取和視覺單詞的構(gòu)造等多個(gè)階段進(jìn)行了進(jìn)一步的廣泛研究。然而，當(dāng)場景種類達(dá)到千類以上且數(shù)據(jù)庫容量突破百萬張時(shí)，傳統(tǒng)的基于底層特征和高層語義的方法通常難以處理這些海量數(shù)據(jù)，而基于深度學(xué)習(xí)的方法則在這種大數(shù)據(jù)上有著很好的表現(xiàn)，尤其是深度卷積神經(jīng)網(wǎng)絡(luò)在場景分類任務(wù)中已經(jīng)取得了全新的突破。采用卷積特性，模型可以在事實(shí)上卷積特征空間的優(yōu)勢視角的場景更完整的表示能夠適應(yīng)變化。卷積神經(jīng)網(wǎng)絡(luò)的問題在于需要大量數(shù)據(jù)來訓(xùn)練，同時(shí)訓(xùn)練過程中需要精巧的參數(shù)調(diào)整。將卷積神經(jīng)網(wǎng)絡(luò)提取的特征與傳統(tǒng)的局部特征加以組合，可以進(jìn)一步提高場景分類的效果。

因此本專利的研究目標(biāo)是針對傳統(tǒng)場景分類中特征表達(dá)能力不足的問題，提出一種基于圖像中層特征的場景分類方法，用深度學(xué)習(xí)的方法使其特征表達(dá)具有一定的縮放，位移等變換的不變性，并結(jié)合空間視覺詞袋模型探索空間場景圖像整體的特征信息和結(jié)構(gòu)，并能較好的應(yīng)用于復(fù)雜的場景圖像分類。

發(fā)明內(nèi)容

本發(fā)明的目的針對上述技術(shù)中存在的問題，提供一種基于卷積特征和空間視覺詞袋模型的場景識別方法，利用深度學(xué)習(xí)的思想，結(jié)合了空間視覺詞袋模型，更進(jìn)一步提高了場景圖像分類的效果。