[發(fā)明專利]一種雙線性特征融合的細(xì)粒度概念模型及學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811451741.6
• 申請(qǐng)日: 2018-11-30
• 公開(kāi)（公告）號(hào): CN109685115B
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 彭進(jìn)業(yè);侯勇;張翔;元莉偉;李紅穎;羅迒哉;王珺;王琳;趙萬(wàn)青;李展
• 申請(qǐng)（專利權(quán)）人: 西北大學(xué)
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V10/774
• 代理公司: 西安恒泰知識(shí)產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李婷

本發(fā)明公開(kāi)了一種雙線性特征融合的細(xì)粒度概念模型及學(xué)習(xí)方法，該方法將經(jīng)由深度卷積網(wǎng)絡(luò)模型vgg16提取的細(xì)粒度圖像中的多層特征進(jìn)行外積，池化等方法得到具有鑒別局部特征的bilinear雙線性特征描述子進(jìn)行融合以及VGG?16conv5_1路、conv5_2路、conv5_3路融合的特征圖提取的多視窗特征與VGG?16conv5_2、conv5_3路分別提取的雙線性特征進(jìn)行融合再分別送入于全連接層后接softmax多類別分類器得到分類結(jié)果。在數(shù)據(jù)預(yù)處理階段，對(duì)輸入的圖像數(shù)據(jù)進(jìn)行預(yù)處理，減去圖像均值消除噪聲，有效利用圖像隨機(jī)裁剪、圖像水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)手段。在只需要提供圖像級(jí)別的類別信息的條件下，本發(fā)明聯(lián)合細(xì)粒度圖像多層特征融合提高了分類的精度。

技術(shù)領(lǐng)域

本發(fā)明屬于信息技術(shù)領(lǐng)域，涉及模式識(shí)別、圖像處理技術(shù)，具體是一種雙線性特征融合的細(xì)粒度概念模型及學(xué)習(xí)方法。

背景技術(shù)

細(xì)粒度圖像分類(Fine-Grained Categorization)，又被稱作子類別圖像分類(Sub-Category Recognition)，是近年來(lái)計(jì)算機(jī)視覺(jué)、模式識(shí)別等領(lǐng)域一個(gè)非常熱門(mén)的研究課題。其目的是對(duì)粗粒度的大類別進(jìn)行更加細(xì)致的子類劃分。細(xì)粒度圖像的類別精度更加細(xì)致，類間差異更加細(xì)微，往往只能借助于微小的局部差異才能區(qū)分出不同的類別。而與人臉識(shí)別等對(duì)象級(jí)分類任務(wù)相比，細(xì)粒度圖像的類內(nèi)差異更加巨大，存在著姿態(tài)、光照、遮擋、背景干擾等諸多不確定因素。因此，細(xì)粒度圖像分類是一項(xiàng)極具挑戰(zhàn)的研究任務(wù)。細(xì)粒度圖像分類無(wú)論在工業(yè)界還是學(xué)術(shù)界都有著廣泛的研究需求與應(yīng)用場(chǎng)景。與之相關(guān)的研究課題主要包括識(shí)別不同種類的鳥(niǎo)、狗、花、車、飛機(jī)等。在實(shí)際生活中，識(shí)別不同的子類別又存在著巨大的應(yīng)用需求。例如，在生態(tài)保護(hù)中，有效識(shí)別不同種類的生物，是進(jìn)行生態(tài)研究的重要前提。如果能夠借助于計(jì)算機(jī)視覺(jué)的技術(shù)，實(shí)現(xiàn)低成本的細(xì)粒度圖像識(shí)別，那么無(wú)論對(duì)于學(xué)術(shù)界，還是工業(yè)界而言，都有著非常重要的意義。

傳統(tǒng)的分類算法不得不依賴于大量的人工標(biāo)注信息。近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)為細(xì)粒度圖像分類帶來(lái)了新的機(jī)遇。大量基于深度卷積特征算法的提出，促進(jìn)了該領(lǐng)域的快速發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)常被人用來(lái)提取特征，一般而言，網(wǎng)絡(luò)越深，特征越好，隨著層數(shù)的加深，然而當(dāng)網(wǎng)絡(luò)到達(dá)一定深度后，通過(guò)增加深度提高準(zhǔn)確率變得越來(lái)越難。因此研究者們提出了很多種方法用來(lái)解決這個(gè)問(wèn)題，例如基于部件的摸型，但它的缺點(diǎn)是效率低，需要提供細(xì)粒度圖像中的大量局部區(qū)域位置信息，人工標(biāo)記任務(wù)繁重。Bilinear CNNS雙線性模型的提出同時(shí)解決了這兩個(gè)問(wèn)題，它只需要訓(xùn)練集樣本的標(biāo)簽，不需要目標(biāo)的邊界框及部件的標(biāo)注，同時(shí)又有較高的準(zhǔn)確率。但是該模型只利用了單路VGG-16模型Conv5_3輸出的特征進(jìn)行外積，池化得到Bilinear特征送入最終的softmax分類器。丟失了網(wǎng)絡(luò)中其他層的feature信息，并且是對(duì)兩個(gè)很高維度(512維)的向量進(jìn)行外積操作，過(guò)程中的算法復(fù)雜度較高。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明的目的在于，提供一種雙線性特征融合的細(xì)粒度概念模型及學(xué)習(xí)方法，有效地利用網(wǎng)絡(luò)結(jié)構(gòu)提取到的多層信息融合和使用1x1卷積濾波器對(duì)原來(lái)的卷積層的輸出進(jìn)行降維操作，以更好地解決細(xì)粒度圖像的分類問(wèn)題。

為了實(shí)現(xiàn)上述任務(wù)，本發(fā)明采用以下技術(shù)方案：

一種雙線性特征融合的細(xì)粒度概念模型及學(xué)習(xí)方法，包括以下步驟：

步驟1，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng)處理；

步驟2，建立雙線性細(xì)粒度概念模型

雙線性細(xì)粒度概念模型包括VGG-16網(wǎng)絡(luò)的conv5_1層、conv5_2層、conv5_3層這三個(gè)網(wǎng)絡(luò)層，以及全連接層和分類器；

其中，對(duì)所述三個(gè)網(wǎng)絡(luò)層輸出的特征圖進(jìn)行分別進(jìn)行雙線性操作，得到雙線性特征，然后對(duì)雙線性特征進(jìn)行池化處理，得到一維特征向量；

步驟3，對(duì)所述的一維特征向量進(jìn)行平方根操作后，進(jìn)行L2正則化操作；