[發(fā)明專利]基于卷積特征譜的圖像可判別區(qū)域提取方法

有效

• 申請?zhí)枺?/td>: 201710825739.X
• 申請日: 2017-09-14
• 公開（公告）號: CN107578445B
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計）人: 孟凡滿;羅堃銘;施雯;郭莉麗;李宏亮;吳慶波
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04;G06T3/40
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 李林合;李蕊

本發(fā)明公開了一種基于卷積特征譜的圖像可判別區(qū)域提取方法，其包括獲取待提取圖片，并將其輸入VGG16卷積神經(jīng)網(wǎng)絡(luò)；計算待提取圖片與VGG16卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集中所有類別的判別概率；選取待提取圖片的所有判別概率中的最大判別概率所在類別作為待提取圖片的類別；采用VGG16卷積神經(jīng)網(wǎng)絡(luò)中第k個卷積階段的池化層的輸入特征譜計算可判別區(qū)域；對k為3時得到的可判別區(qū)域和k為5時得到的可判別區(qū)域進(jìn)行雙線性插值處理，并將兩個可判別區(qū)域進(jìn)行融合形成待提取圖片的最終可判別區(qū)域。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于卷積特征譜的圖像可判別區(qū)域提取方法。

背景技術(shù)

可判別區(qū)域是指當(dāng)利用深度卷積神經(jīng)網(wǎng)絡(luò)為圖像進(jìn)行分類時，圖像中被卷積神經(jīng)網(wǎng)絡(luò)認(rèn)為是分類依據(jù)的目標(biāo)區(qū)域。卷積神經(jīng)網(wǎng)絡(luò)在應(yīng)用到圖像分類的任務(wù)的時候，從圖像中提取到不同尺度的特征，并且利用這些特征來進(jìn)行分類判別。這些作為分類判別的特征，描述著目標(biāo)物體，提取出這些特征信息，將能夠定位到網(wǎng)絡(luò)“指出”的可判別目標(biāo)，從而提取出圖像的可判別區(qū)域。這樣的可判別區(qū)域譜直觀表示出了卷積神經(jīng)網(wǎng)絡(luò)提取到的最突出的特征信息，可視化了網(wǎng)絡(luò)對于不同類別的目標(biāo)物體的認(rèn)知。提取圖像的可判別區(qū)域，有利于深入理解和可視化深度卷積神經(jīng)網(wǎng)絡(luò)，對于卷積神經(jīng)網(wǎng)絡(luò)的研究有重要作用。同時，圖像的可判別區(qū)域?qū)τ谌醣O(jiān)督圖像語義分割、目標(biāo)檢測等任務(wù)具有重要意義。

目前基于深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像可判別區(qū)域提取的算法，由于卷積神經(jīng)網(wǎng)絡(luò)的多層全連接層的結(jié)構(gòu)難以利用從輸入全連接層的特征中提取可判別區(qū)域，通常選擇替換掉卷積神經(jīng)網(wǎng)絡(luò)的全連接層，使用一種新的層來實現(xiàn)分類功能，例如全局平均層，這種層的參數(shù)在網(wǎng)絡(luò)訓(xùn)練完成以后可以被利用來從該層的輸入特征中提取出可判別區(qū)域。這樣的方法，存在兩點不足：一、替換掉全連接層以后卷積神經(jīng)網(wǎng)絡(luò)的分類能力將受到影響，通常準(zhǔn)確率降低百分之二到百分之四；二、通常網(wǎng)絡(luò)輸入到分類層的特征尺度都很小，缺乏目標(biāo)物體的邊緣信息，利用這樣的特征提取到的可判別區(qū)域譜對目標(biāo)物體的邊緣把握不足，使得可判別區(qū)域譜十分模糊。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的基于卷積特征譜的圖像可判別區(qū)域提取方法能夠提取出圖像中具有目標(biāo)邊緣細(xì)節(jié)信息的可判別區(qū)域。

為了達(dá)到上述發(fā)明目的，本方采用的技術(shù)方案為：

提供一種基于卷積特征譜的圖像可判別區(qū)域提取方法，其包括：

獲取待提取圖片，并將其輸入VGG16卷積神經(jīng)網(wǎng)絡(luò)；

計算待提取圖片與VGG16卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集中所有類別的判別概率；

選取待提取圖片的所有判別概率中的最大判別概率所在類別作為待提取圖片的類別；

采用VGG16卷積神經(jīng)網(wǎng)絡(luò)中第k個卷積階段的池化層的輸入特征譜計算可判別區(qū)域：

其中，T^k為第k個卷積階段的池化層的輸入特征譜；c為待提取圖片的類別；為在類別c，針對第k個卷積階段的特征譜構(gòu)建的特征提取器，和T^k為大小相同的矩陣，k＝3時，和T^k的大小均為56*56*256，k＝5時，和T^k的大小均為14*14*512)；x，y和a分別表示計算結(jié)果矩陣的三個維度上的元素下標(biāo)，D為計算結(jié)果矩陣第3維的大??；“*”為矩陣的哈達(dá)馬乘積；

對k為3時得到的可判別區(qū)域和k為5時得到的可判別區(qū)域進(jìn)行雙線性插值處理，并將兩個可判別區(qū)域進(jìn)行融合形成待提取圖片的最終可判別區(qū)域：

其中，δ為位于0～1之間的經(jīng)驗參數(shù)。

進(jìn)一步地，經(jīng)驗參數(shù)δ為0.6。

進(jìn)一步地，VGG16卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法包括：