[發(fā)明專利]一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法

有效

• 申請?zhí)枺?/td>: 201710253255.2
• 申請日: 2017-04-18
• 公開（公告）號: CN107169954B
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計）人: 王偉凝;肖純;師婷婷;趙明權(quán)
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06T7/11
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 陳文姬

本發(fā)明公開了一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法：包括以下步驟：(1)設(shè)計并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；(2)設(shè)計兩種網(wǎng)絡(luò)輸入圖，并針對輸入定義基于超像素的標(biāo)簽；(3)數(shù)據(jù)集平衡化處理與輸入預(yù)處理；(4)模型訓(xùn)練：所述模型包括數(shù)據(jù)預(yù)處理模塊和并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；(5)對目標(biāo)圖像使用已訓(xùn)練好的模型計算顯著圖。本發(fā)明能有效檢測顯著主體的內(nèi)在語義以及與背景的差異，從全局和局部角去檢測顯著性，實現(xiàn)自動對圖像進行顯著性檢測。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像的檢測方法，特別涉及一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法。

背景技術(shù)

圖像顯著性檢測的目的在于識別一幅圖像在視覺上最突出的區(qū)域，是計算機視覺及圖像處理領(lǐng)域中一門非常重要的課題。顯著性檢測作為一種預(yù)處理手段在計算機視覺及圖像處理方面有著廣泛的應(yīng)用，如多媒體信息傳輸，圖像視頻重構(gòu)，圖像視頻質(zhì)量評估等。同時，顯著性檢測在高層次視覺任務(wù)中也被大量應(yīng)用，如物體檢測，身份識別。作為一門非常成熟的課題，大量顯著性檢測模型被學(xué)者們提出。

傳統(tǒng)顯著性檢測模型分為基于手工特征的方法和基于先驗知識的方法。基于手工特征的方法致力于設(shè)計各類手工特征如顏色、亮度、紋理，當(dāng)圖像具有較為復(fù)雜的語義時，這類方法無法有效的檢測出顯著性主體，如當(dāng)主體與背景的顏色、亮度差異較小時，基于手工特征的方法無法有效的將顯著主體從背景中區(qū)分出來。基于先驗知識的方法對顯著性主體的公有特性進行定義，如基于背景先驗的方法假定靠近圖像的邊緣區(qū)域為背景，但有些圖像的顯著主體處于圖像邊緣，這使得基于先驗知識的方法具有局限性。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的上述缺點與不足，本發(fā)明的目的在于提供一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，有效檢測顯著主體的內(nèi)在語義以及與背景的差異，從全局和局部角度去檢測顯著性，實現(xiàn)自動對圖像進行顯著性檢測。

本發(fā)明的目的通過以下技術(shù)方案實現(xiàn)：

一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像顯著性檢測方法，包括以下步驟：

(1)設(shè)計并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；所述并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括全局角度檢測模塊CNN-G和局部角度檢測模塊CNN-L；

所述全局角度檢測模塊CNN-G為單路卷積神經(jīng)網(wǎng)絡(luò)；所述局部角度檢測模塊CNN-L為雙路并行卷積神經(jīng)網(wǎng)絡(luò)；所述全局角度檢測模塊CNN-G和局部角度檢測模塊CNN-L通過一個全連接層實現(xiàn)并行；

(2)設(shè)計兩種網(wǎng)絡(luò)輸入圖，并針對輸入定義基于超像素的標(biāo)簽；所述網(wǎng)絡(luò)輸入圖包括全局填充圖和局部裁剪圖；

所述全局填充圖以超像素為中心、包含原圖全部信息的填充圖，代表全局特征，作為全局角度檢測模塊CNN-G的輸入；

所述局部裁剪圖以超像素為中心、包含超像素鄰域細節(jié)信息的裁剪圖，代表局部特征，作為局部角度檢測模塊CNN-L的輸入；

(3)數(shù)據(jù)集平衡化處理與輸入預(yù)處理；

(4)模型訓(xùn)練：所述模型包括數(shù)據(jù)預(yù)處理模塊和并行卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

(5)對目標(biāo)圖像使用已訓(xùn)練好的模型計算顯著圖。

步驟(2)所述針對輸入定義基于超像素的標(biāo)簽，具體為：

超像素標(biāo)簽由超像素與顯著圖真實標(biāo)注的重疊率決定，若大于設(shè)定的閾值則標(biāo)簽為1，視為顯著；反之，若重疊率小于設(shè)定的閾值則標(biāo)簽為0，視為非顯著。

步驟(3)所述數(shù)據(jù)集平衡化處理，具體為：

對一張圖像所取得的正樣本全部采用，并隨機選取與正樣本數(shù)量一致的負樣本；將所有樣本的規(guī)格歸一化到256*256大小。