[發(fā)明專利]基于極致下采樣的圖像顯著性物體檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011500724.4
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112528900B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 程明明;吳宇寰;劉云
• 申請(qǐng)（專利權(quán)）人: 南開大學(xué)
• 主分類號(hào): G06V20/20
• 分類號(hào): G06V20/20;G06V10/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

本申請(qǐng)公開了基于極致下采樣的圖像顯著性物體檢測(cè)方法及系統(tǒng)，包括：獲取待檢測(cè)的目標(biāo)圖像；將待檢測(cè)的目標(biāo)圖像，輸入到訓(xùn)練后的基于極致下采樣的神經(jīng)網(wǎng)絡(luò)模型中，輸出目標(biāo)圖像中的顯著性物體。基于本申請(qǐng)的新極致下采樣技術(shù)設(shè)計(jì)了一個(gè)極致下采樣模塊，通過逐漸地更深層次地下采樣，使得下采樣后提取的特征變得更小和全局化，特征的空間大小逐漸變小直至變成特征向量，從而得到對(duì)整個(gè)自然圖像的顯著性物體的全局建模，也使得深度卷積神經(jīng)網(wǎng)絡(luò)可以更好地定位顯著性物體的位置，從而不易漏檢顯著性物體，并在此基礎(chǔ)上大大提升顯著性物體檢測(cè)的精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別是涉及基于極致下采樣的圖像顯著性物體檢測(cè)方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提到了與本申請(qǐng)相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

顯著性物體檢測(cè)的目標(biāo)是檢測(cè)并分割出給定自然圖像中最顯著的物體，它是計(jì)算機(jī)視覺領(lǐng)域中的一種十分重要的基本任務(wù)。它在計(jì)算機(jī)視覺具有舉足輕重的地位，被應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的多種子任務(wù)，如圖像編輯、弱監(jiān)督語義和實(shí)例分割、視覺目標(biāo)跟蹤等等，這些任務(wù)往往視顯著性物體檢測(cè)為一種重要的前置步驟，以用來增強(qiáng)他們的效果，或者更輕松地提取特征。此外，顯著性物體檢測(cè)也被直接應(yīng)用實(shí)際生活中的各類場(chǎng)景，比如手機(jī)拍照中的AI背景虛化、智能圖像增強(qiáng)等功能。

顯著性物體檢測(cè)發(fā)展了數(shù)十年，早年間處理該任務(wù)的方法往往基于手工設(shè)計(jì)的特征組合，這種設(shè)計(jì)方式過于繁瑣，往往難以提取出自然圖像中隱含但卻十分重要的高層語義特征可靠性和精準(zhǔn)度也不高，從而難以確認(rèn)顯著性物體的位置。今年來隨著深度學(xué)習(xí)的發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取的方法逐漸替代了早年間基于手工設(shè)計(jì)的特征組合的方法，并取得了很大的成功。

近年以來，這些基于深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性物體檢測(cè)方法往往使用多尺度學(xué)習(xí)的方法去同時(shí)汲取高層語義特征和細(xì)粒化的低層特征的特征表達(dá)，這樣即可利用高層語義特征較為容易定位顯著性物體的位置的優(yōu)勢(shì)，也可以利用細(xì)粒化的低層特征更容易發(fā)現(xiàn)物體的細(xì)節(jié)和邊緣的優(yōu)勢(shì)。許多顯著性物體檢測(cè)方法也想法設(shè)法改進(jìn)多尺度學(xué)習(xí)的方式，并設(shè)計(jì)出各種各樣的高級(jí)網(wǎng)絡(luò)結(jié)構(gòu)來改進(jìn)多尺度學(xué)習(xí)的方式。

然而，目前這些基于多尺度學(xué)習(xí)的顯著性物體檢測(cè)方法主要想法設(shè)法地顯式或隱式地改進(jìn)低層特征學(xué)習(xí)的方式，從而獲取更好的顯著性物體細(xì)節(jié)和邊緣。他們?yōu)榱双@取更好的顯著性物體邊緣，增強(qiáng)了方法本身對(duì)物體邊緣的特征表達(dá)或者直接引入了額外的邊緣信息作為訓(xùn)練監(jiān)督信息。他們往往忽略了高層語義特征學(xué)習(xí)的重要性，他們更多地是直接應(yīng)用語義分割中的ASPP或PSP模塊或其他變種來增強(qiáng)高層語義特征的學(xué)習(xí)，顯著性物體檢測(cè)與語義分割不同，顯著性物體檢測(cè)更看重對(duì)整個(gè)顯著性物體的建模，而語義分割更看重圖像相鄰像素之間的語義相關(guān)性。如上所述，高層語義特征學(xué)習(xí)在顯著性物體檢測(cè)任務(wù)中還沒有被很好地探索，也使得各類方法雖然可以獲取更好的顯著性物體邊緣，但卻很容易丟失掉整個(gè)顯著性物體。

發(fā)明內(nèi)容

為了解決目前的顯著性物體檢測(cè)方法往往都忽視了高層語義特征的學(xué)習(xí)，從而使得他們預(yù)測(cè)出的顯著性物體位置雖然具有較為清晰和合適的邊緣，但很多復(fù)雜的場(chǎng)景下會(huì)丟失掉整個(gè)顯著性物體。本申請(qǐng)?zhí)峁┝嘶跇O致下采樣的圖像顯著性物體檢測(cè)方法及系統(tǒng)；本申請(qǐng)的目的是加強(qiáng)顯著性物體檢測(cè)方法的高層語義特征學(xué)習(xí)能力，基于本申請(qǐng)的新極致下采樣技術(shù)設(shè)計(jì)了一個(gè)極致下采樣模塊，通過逐漸地更深層次地下采樣，使得下采樣后提取的特征變得更小和全局化，特征的空間大小逐漸變小直至變成特征向量，從而得到對(duì)整個(gè)自然圖像的顯著性物體的全局建模，也使得深度卷積神經(jīng)網(wǎng)絡(luò)可以更好地定位顯著性物體的位置，從而不易漏檢顯著性物體，并在此基礎(chǔ)上大大提升顯著性物體檢測(cè)的精度。

第一方面，本申請(qǐng)?zhí)峁┝嘶跇O致下采樣的圖像顯著性物體檢測(cè)方法；

基于極致下采樣的圖像顯著性物體檢測(cè)方法，包括：

獲取待檢測(cè)的目標(biāo)圖像；

將待檢測(cè)的目標(biāo)圖像，輸入到訓(xùn)練后的基于極致下采樣的神經(jīng)網(wǎng)絡(luò)模型中，輸出目標(biāo)圖像中的顯著性物體。