[發(fā)明專利]一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法

有效

• 申請?zhí)枺?/td>: 201710253255.2
• 申請日: 2017-04-18
• 公開（公告）號: CN107169954B
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計）人: 王偉凝;肖純;師婷婷;趙明權(quán)
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06T7/11
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 陳文姬

1.一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，包括以下步驟：

(1)設(shè)計并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；所述并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括全局角度檢測模塊CNN-G和局部角度檢測模塊CNN-L；

所述全局角度檢測模塊CNN-G為單路卷積神經(jīng)網(wǎng)絡(luò)；所述局部角度檢測模塊CNN-L為雙路并行卷積神經(jīng)網(wǎng)絡(luò)；所述全局角度檢測模塊CNN-G和局部角度檢測模塊CNN-L通過一個全連接層實(shí)現(xiàn)并行；

(2)設(shè)計兩種網(wǎng)絡(luò)輸入圖，并針對輸入定義基于超像素的標(biāo)簽；所述針對輸入定義基于超像素的標(biāo)簽，具體為：超像素標(biāo)簽由超像素與顯著圖真實(shí)標(biāo)注的重疊率決定，若大于設(shè)定的閾值則標(biāo)簽為1，視為顯著；反之，若重疊率小于設(shè)定的閾值則標(biāo)簽為0，視為非顯著；

所述網(wǎng)絡(luò)輸入圖包括全局填充圖和局部裁剪圖；

所述全局填充圖以超像素為中心、包含原圖全部信息的填充圖，代表全局特征，作為全局角度檢測模塊CNN-G的輸入；

所述局部裁剪圖以超像素為中心、包含超像素領(lǐng)域細(xì)節(jié)信息的裁剪圖，代表局部特征，作為局部角度檢測模塊CNN-L的輸入；

(3)數(shù)據(jù)集平衡化處理與輸入預(yù)處理；

(4)模型訓(xùn)練：所述模型包括數(shù)據(jù)預(yù)處理模塊和并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

(5)對目標(biāo)圖像使用已訓(xùn)練好的模型計算顯著圖。

2.根據(jù)權(quán)利要求1所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(3)所述數(shù)據(jù)集平衡化處理，具體為：

對一張圖像所取得的正樣本全部采用，并隨機(jī)選取與正樣本數(shù)量一致的負(fù)樣本；將所有樣本的規(guī)格歸一化到256*256大小。

3.根據(jù)權(quán)利要求1所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(1)所述并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的前5層為5個卷積層；第一層卷積層有96個卷積核，大小為11*11*3；第2層有256個卷積核，大小為5*5*48；第三層卷積層有384個核，大小為3*3*256；第四層卷積層有384個核，大小為3*3*192；第5層卷積層有256個核，大小為3*3*192；前兩層和第五層卷積層的后面都接一層池化層和一層正則化層。

4.根據(jù)權(quán)利要求3所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(1)所述并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的同層卷積層參數(shù)共享，以學(xué)習(xí)尺度不變性特征。

5.根據(jù)權(quán)利要求3所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(4)中，所述并行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括以下步驟：

(4-1)網(wǎng)絡(luò)參數(shù)初始化；

(4-2)設(shè)置訓(xùn)練參數(shù)；

(4-3)加載訓(xùn)練數(shù)據(jù)；

(4-4)迭代訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(4-1)所述網(wǎng)絡(luò)參數(shù)初始化，具體為：采用fine-tune策略，利用AlexNet模型的前六層網(wǎng)絡(luò)參數(shù)初始化并行卷積神經(jīng)網(wǎng)絡(luò)的前六層；全連接層的初始化設(shè)置為隨機(jī)值初始化。

7.根據(jù)權(quán)利要求5所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(4-2)所述訓(xùn)練參數(shù)，具體為：并行卷積神經(jīng)網(wǎng)絡(luò)的前5層的初始學(xué)習(xí)率設(shè)置為0.0001；全連接層參數(shù)的初始學(xué)習(xí)率為0.001；訓(xùn)練過程設(shè)為每8次遍歷樣本集后，學(xué)習(xí)率降低40％。

8.根據(jù)權(quán)利要求5所述的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，其特征在于，步驟(4-3)所述迭代訓(xùn)練：采用隨機(jī)梯度下降算法對并行卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，每迭代1000次保存一次網(wǎng)絡(luò)參數(shù)，經(jīng)過不斷迭代，取得網(wǎng)絡(luò)最優(yōu)解。