[發(fā)明專(zhuān)利]一種注視點(diǎn)指導(dǎo)的顯著目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011570908.8
• 申請(qǐng)日: 2020-12-26
• 公開(kāi)（公告）號(hào): CN112699878A
• 公開(kāi)（公告）日: 2021-04-23
• 發(fā)明（設(shè)計(jì)）人: 蘇荔;崔哲;黃慶明;李國(guó)榮;李亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院大學(xué)
• 主分類(lèi)號(hào): G06K9/32
• 分類(lèi)號(hào): G06K9/32;G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廣州粵弘專(zhuān)利代理事務(wù)所(普通合伙) 44492
• 代理人: 馬騰飛

本發(fā)明涉及計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域，特別是涉及一種注視點(diǎn)指導(dǎo)的顯著目標(biāo)檢測(cè)方法，可更準(zhǔn)確地定位顯著目標(biāo)，提高顯著目標(biāo)的檢測(cè)效果；包括以下步驟：(1)、設(shè)計(jì)多尺度特征提取器提取多尺度的卷積特征；(2)、設(shè)計(jì)特征融合交換模塊來(lái)交換注視點(diǎn)預(yù)測(cè)和顯著目標(biāo)檢測(cè)之間的互補(bǔ)信息；(3)、設(shè)計(jì)特征解碼模塊，將融合優(yōu)化后的特征送入解碼器生成最終的注視點(diǎn)預(yù)測(cè)圖和顯著目標(biāo)預(yù)測(cè)圖。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域，特別是涉及一種注視點(diǎn)指導(dǎo)的顯著目標(biāo)檢測(cè)方法。

背景技術(shù)

視覺(jué)顯著性描述一個(gè)物體在一幅場(chǎng)景中的特殊性或吸引視覺(jué)注意的能力這種能力源自該物體與周?chē)挛锏腻漠愋裕捎^察者的主觀經(jīng)驗(yàn)引起，圖像顯著度檢測(cè)可以提取圖像中的顯著目標(biāo)，濾除冗余的背景信息，只關(guān)注人類(lèi)視覺(jué)感興趣的圖像區(qū)域，從而降低圖像內(nèi)容理解和場(chǎng)景分析的復(fù)雜度，顯著目標(biāo)檢測(cè)是許多計(jì)算機(jī)視覺(jué)任務(wù)重要的預(yù)處理步驟，被廣泛應(yīng)用于圖像檢索、語(yǔ)義分割、圖像裁剪、目標(biāo)跟蹤、視頻壓縮等任務(wù)中。

顯著目標(biāo)檢測(cè)總體可以分為基于傳統(tǒng)方法的顯著目標(biāo)檢測(cè)和基于深度學(xué)習(xí)的顯著目標(biāo)檢測(cè)方法，傳統(tǒng)方法使用手工設(shè)計(jì)的特征和先驗(yàn)知識(shí)來(lái)檢測(cè)和分割突出的物體，由于缺乏高層次的語(yǔ)義知識(shí)，這些傳統(tǒng)方法往往無(wú)法檢測(cè)出復(fù)雜場(chǎng)景中的顯著目標(biāo)，隨著深度學(xué)習(xí)的發(fā)展，顯著目標(biāo)檢測(cè)取得了重大進(jìn)展，深度神經(jīng)網(wǎng)絡(luò)可以有效提取圖片中的多級(jí)特征，與基于手工設(shè)計(jì)特征的傳統(tǒng)方法相比，基于深度學(xué)習(xí)的顯著目標(biāo)檢測(cè)方法具有普適性強(qiáng)、精度高的優(yōu)點(diǎn)，深度學(xué)習(xí)的顯著目標(biāo)檢測(cè)方法可以分為基于全連接神經(jīng)網(wǎng)絡(luò)的方法和基于全卷積神經(jīng)網(wǎng)絡(luò)的方法。

早期基于全連接神經(jīng)網(wǎng)絡(luò)的顯著目標(biāo)檢測(cè)方法將整幅圖片分為許多個(gè)小的子區(qū)域，利用全連接神經(jīng)網(wǎng)絡(luò)依次為每個(gè)子區(qū)域提取特征并預(yù)測(cè)該子區(qū)域的顯著性分?jǐn)?shù)，這帶來(lái)了巨大的重復(fù)計(jì)算量，并且無(wú)法利用整體空間信息，例如：ELD(Deep saliency withencoded low level distance map and high level features)、MDF(Visual saliencybased on multiscale deep features)等。

近年來(lái)，基于全卷積神經(jīng)網(wǎng)絡(luò)的顯著目標(biāo)檢測(cè)方法成為主流，這些方法將整幅圖片輸入全卷積神經(jīng)網(wǎng)絡(luò)，并且端到端的預(yù)測(cè)每一個(gè)像素點(diǎn)的顯著性分?jǐn)?shù)，取得了令人滿意的效果，例如：PAGR(Progressive Attention Guided Recurrent Network for SalientObject Detection)、CPD(Cascaded Partial Decoder for Fast and Accurate SalientObject Detection)等。

然而，在顯著目標(biāo)尺寸過(guò)小、與背景對(duì)比度低和背景過(guò)于復(fù)雜等具有挑戰(zhàn)性的情況下，由于顯著目標(biāo)和背景之間的視覺(jué)對(duì)比不明顯，現(xiàn)有的方法仍然無(wú)法準(zhǔn)確地定位顯著目標(biāo)，從而使得最終的顯著目標(biāo)檢測(cè)效果不佳。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種可更準(zhǔn)確地定位顯著目標(biāo)，提高顯著目標(biāo)的檢測(cè)效果的注視點(diǎn)指導(dǎo)的顯著目標(biāo)檢測(cè)方法。

本發(fā)明的一種注視點(diǎn)指導(dǎo)的顯著目標(biāo)檢測(cè)方法，包括以下步驟：

(1)、設(shè)計(jì)多尺度特征提取器提取多尺度的卷積特征：

利用一個(gè)共享的卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入的圖片進(jìn)行特征提取得到多尺度的卷積特征集合R；通過(guò)適應(yīng)卷積操作得到的特征集合R調(diào)整為更適合注視點(diǎn)預(yù)測(cè)任務(wù)的特征集合F和顯著目標(biāo)檢測(cè)任務(wù)的特征集合S。

(2)、設(shè)計(jì)特征融合交換模塊來(lái)交換注視點(diǎn)預(yù)測(cè)和顯著目標(biāo)檢測(cè)之間的互補(bǔ)信息：