[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)和空間金字塔匹配的圖像排序模型

有效

• 申請?zhí)枺?/td>: 201610057640.5
• 申請日: 2016-01-27
• 公開（公告）號: CN105718960B
• 公開（公告）日: 2019-01-04
• 發(fā)明（設(shè)計(jì)）人: 劉波;陸雅
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

基于卷積神經(jīng)網(wǎng)絡(luò)和空間金字塔匹配的圖像排序模型，結(jié)合近似最近鄰匹配算法和類似的SPM算法作為圖像之間相似性的度量。該模型包括卷積神經(jīng)網(wǎng)絡(luò)、近似最近鄰匹配算法、類似空間金字塔匹配算法的應(yīng)用。圖像塊的特征沒有類別的劃分，而是對利用快速最近鄰查找算法找到的匹配的圖像塊的數(shù)量進(jìn)行計(jì)數(shù)作為不同分辨率下的不同匹配數(shù)的度量，最后對這些不同分辨率下的不同匹配數(shù)加權(quán)求和作為兩幅圖像相似性的度量。將訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)提取的圖像塊的特征在同一個(gè)訓(xùn)練集上用三種相似性度量方法進(jìn)行了測試；利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像塊的特征得到特征向量集，利用最近鄰匹配算法同時(shí)考慮空間信息的方法對圖像之間相似性的度量有一定的研究價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體地涉及基于內(nèi)容的圖像檢索中的圖像排序模型。

背景技術(shù)

圖像檢索的主要目的是找到人們需求的圖像。以圖搜圖的需求日益明顯，作為圖像檢索的一個(gè)子問題，研究熱度也正超過基于文本的圖像檢索。以圖搜圖的研究越來越受到關(guān)注，并且取得了一定的研究成果。

大部分比較圖像之間相似性的方法是建立在圖像特征描述符的基礎(chǔ)上，利用某種計(jì)算方法通過特征描述符的相似性來作為圖像之間相似性的判斷準(zhǔn)則。其中特征描述符大多是人為設(shè)計(jì)的特征提取算法，例如SIFT，MSERs。雖然人為設(shè)計(jì)的算法不斷考慮視角、光照強(qiáng)度、陰影等因素的影響，但是圖像所受到的影響因素之多，目前還沒有一個(gè)很好的算法來完全地合理地考慮所有影響因素或者合理地表征一幅圖像。故人為設(shè)計(jì)的特征提取算法有一定的局限性，對于圖像相似性的計(jì)算相對來說沒有擴(kuò)展性。隨著深度學(xué)習(xí)算法的提出和應(yīng)用，針對不同的問題，調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，通過訓(xùn)練得到解決問題的合適模型越來越受到關(guān)注，從原始數(shù)據(jù)集中直接學(xué)習(xí)訓(xùn)練得到模型的方式也越來越受到青睞。Krizhevsky證明了卷積神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域的成功。Matthew和Rob對卷積神經(jīng)網(wǎng)絡(luò)的可視化，表明了卷積神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)得到的圖像描述符能夠很好的表征圖像，同時(shí)清楚地說明了為何卷積神經(jīng)網(wǎng)絡(luò)有如此大的優(yōu)勢。將卷積神經(jīng)網(wǎng)絡(luò)提取的特征描述符應(yīng)用于圖像檢索領(lǐng)域，證明了卷積神經(jīng)網(wǎng)絡(luò)高層提供的特征描述符能很好的表征圖像，為該結(jié)構(gòu)應(yīng)用于圖像檢索領(lǐng)域提供了有利的證明。圖像檢索最后要得到排序模型，所以成對比較模型也被廣泛提出。深度排序模型通過在成組的圖像所組成的訓(xùn)練集上的訓(xùn)練來得到排序模型，但是通過不同的人為設(shè)計(jì)的特征提取算法的線性組合來自動(dòng)產(chǎn)生訓(xùn)練集，不僅計(jì)算代價(jià)高，而且受人為設(shè)計(jì)的特征提取算法的局限性的影響，這些缺點(diǎn)導(dǎo)致訓(xùn)練集的不嚴(yán)格，對模型的訓(xùn)練起到了關(guān)鍵的影響。

通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像塊間相似性模型，比較的是兩個(gè)圖像塊之間的相似性與否。通過對比圖像中圖像塊之間的相似性是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)基礎(chǔ)的研究課題。圖像塊相似性模型可以應(yīng)用于物體識(shí)別，圖像檢索和分類等領(lǐng)域。空間金字塔匹配(SPM)算法利用圖像的空間結(jié)構(gòu)來定義圖像之間的距離。通過在空間上對圖像進(jìn)行金字塔式切分，不同的金字塔層有不同的塊數(shù)。通過對每一層中的每一塊提取特征直方圖，得到圖像的直方圖，將兩幅圖像的對應(yīng)的直方圖進(jìn)行加權(quán)求和來度量圖像之間的距離。但是，SPM算法中對特征進(jìn)行分類，將特征強(qiáng)制劃分為不同的種類，損失了特征表示的信息。圖像檢索的核心問題是圖像之間的相似性度量，因此，可以將圖像劃分為固定大小的圖像塊，利用卷積神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性和其對圖像的表征能力提取圖像塊的特征，用最近鄰匹配算法高效查找圖像之間匹配的圖像塊，對匹配的圖像塊應(yīng)用類似于SPM的算法即結(jié)合空間位置信息作為衡量圖像相似性的依據(jù)。

發(fā)明目的

本發(fā)明給出一種基于內(nèi)容的圖像檢索的圖像排序模型。主要解決的技術(shù)問題是提供一種新的衡量圖像相似性的算法，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合近似最近鄰匹配算法和類似的SPM算法作為圖像之間相似性的度量。

本發(fā)明主要涉及基于內(nèi)容的圖像排序模型，其中包括卷積神經(jīng)網(wǎng)絡(luò)、近似最近鄰匹配算法、類似空間金字塔匹配(SPM)算法的應(yīng)用。發(fā)明的流程如圖1，主要步驟如下：

S1基于卷積神經(jīng)網(wǎng)絡(luò)的圖像塊的特征提取