[發(fā)明專利]一種基于3D卷積的光場顯著性目標(biāo)檢測方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110600616.2
• 申請(qǐng)日: 2021-05-31
• 公開（公告）號(hào): CN113343822B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 王昕;熊高敏;張釗;馮進(jìn);于海潮;高雋
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/46;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于3D卷積的光場顯著性目標(biāo)檢測方法，包括：1、對(duì)光場數(shù)據(jù)進(jìn)行重聚焦，得到不同聚焦參數(shù)下的光場數(shù)據(jù)；2、對(duì)重聚焦后的光場數(shù)據(jù)進(jìn)行解碼，得到聚焦在場景不同深度下的焦點(diǎn)堆棧；3、對(duì)焦點(diǎn)堆棧進(jìn)行數(shù)據(jù)增強(qiáng)；4、構(gòu)建基于3D卷積的深度卷積神經(jīng)網(wǎng)絡(luò)，以焦點(diǎn)堆棧作為輸入，對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到光場顯著性目標(biāo)檢測模型；5、利用訓(xùn)練好的模型對(duì)待檢測的焦點(diǎn)堆棧進(jìn)行顯著性目標(biāo)檢測，并評(píng)估模型在待檢測的焦點(diǎn)堆棧上的精度。本發(fā)明能實(shí)現(xiàn)基于3D卷積的光場顯著性目標(biāo)檢測，有效提高復(fù)雜多變環(huán)境下場景的顯著性目標(biāo)檢測的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺中、圖像處理和分析領(lǐng)域，具體地說是一種基于3D卷積的光場顯著性目標(biāo)檢測方法。

背景技術(shù)

視覺顯著性是人類視覺系統(tǒng)的一種注意力機(jī)制，當(dāng)我們?cè)谟^察一個(gè)場景時(shí)，場景中往往有一個(gè)顯著的區(qū)域吸引我們的注意力，自然的，我們會(huì)忽略那些非顯著的區(qū)域，這樣人類可以快速地處理大量的圖像數(shù)據(jù)。顯著性目標(biāo)檢測是指計(jì)算機(jī)模擬人類視覺系統(tǒng)快速準(zhǔn)確的定位視野中感興趣的區(qū)域或目標(biāo)，準(zhǔn)確的顯著性目標(biāo)檢測可以為目標(biāo)檢測和識(shí)別，圖像分割，視覺跟蹤提供可靠的先驗(yàn)信息。

根據(jù)不同類型的輸入數(shù)據(jù)，顯著性目標(biāo)檢測主要分為三類：(1)基于RGB圖像的顯著性目標(biāo)檢測；(2)基于RGB-D圖像的顯著性目標(biāo)檢測；(3)基于光場的顯著性目標(biāo)檢測。在高光或暗光，部分遮擋，背景雜亂，前景和背景相似等復(fù)雜場景下，以RGB圖像作為輸入很難有效的檢測出顯著性目標(biāo)或區(qū)域。以RGB-D圖像作為輸入的方法，同時(shí)輸入RGB圖像和深度圖，額外引入了深度信息，已經(jīng)被證明可以提高顯著性目標(biāo)檢測的性能，但是如果深度圖的質(zhì)量較差時(shí)，反而會(huì)導(dǎo)致顯著性目標(biāo)檢測的效果變差。光場是指通過空間中每一點(diǎn)在各個(gè)方向傳播的光的數(shù)量，其同時(shí)記錄了光輻射在空間中的位置信息和視角信息，對(duì)自然場景的描述更加完整。

目前，已經(jīng)有幾項(xiàng)工作研究基于光場的顯著性目標(biāo)檢測，這些工作大致分為基于特征的方法和基于學(xué)習(xí)的方法。基于特征的方法是在光場焦點(diǎn)堆棧、全聚焦圖像的基礎(chǔ)上，利用色彩、深度、背景先驗(yàn)等信息來估計(jì)顯著性目標(biāo)。這類方法只考慮到幾種有限的特征，檢測精度往往不高。基于學(xué)習(xí)的方法通過一定量的訓(xùn)練數(shù)據(jù)來訓(xùn)練一個(gè)顯著性目標(biāo)檢測模型，利用訓(xùn)練的模型在測試數(shù)據(jù)上進(jìn)行測試。基于學(xué)習(xí)的方法依賴于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，融合了多種特征，相較于基于特征的方法，在檢測精度上有了很大的提升。但是這些基于學(xué)習(xí)的方法仍存在不足之處：1、基于學(xué)習(xí)的方法大都在自己提出的光場顯著性目標(biāo)檢測數(shù)據(jù)集上進(jìn)行訓(xùn)練測試，缺乏相互之間的比較，難以體現(xiàn)該模型在其他的光場顯著性目標(biāo)檢測數(shù)據(jù)集上仍能取得良好的顯著性目標(biāo)檢測結(jié)果；2、基于學(xué)習(xí)的方法大都用到了焦點(diǎn)堆棧，這些方法將焦點(diǎn)堆棧簡單的堆疊在一起，擴(kuò)充了通道維度，使用2D卷積提取焦點(diǎn)堆棧的特征，忽略了焦點(diǎn)堆棧不同聚焦圖像之間焦點(diǎn)連續(xù)變化的關(guān)聯(lián)信息，在復(fù)雜場景下，很難得到精確的光場顯著性目標(biāo)檢測結(jié)果；3、另一部分基于學(xué)習(xí)的光場顯著性目標(biāo)檢測方法使用中央視角圖像、視角圖像作為輸入，考慮多視角信息對(duì)光場顯著性目標(biāo)檢測的有益性，但實(shí)驗(yàn)結(jié)果表明，視角信息并不能很好的提升光場顯著性目標(biāo)檢測的性能。

發(fā)明內(nèi)容

本發(fā)明為解決現(xiàn)有技術(shù)中的不足之處，提供一種基于3D卷積的光場顯著性目標(biāo)檢測方法，旨在解決從光場焦點(diǎn)堆棧中高效的提取特征的問題，通過構(gòu)建基于3D卷積的深度神經(jīng)網(wǎng)絡(luò)，得到能夠在復(fù)雜場景下有效的檢測出顯著性目標(biāo)的光場顯著性目標(biāo)檢測特征模型，從而提高復(fù)雜多變環(huán)境下光場顯著性目標(biāo)檢測的精度和準(zhǔn)確性。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

本發(fā)明一種基于3D卷積的光場顯著性目標(biāo)檢測方法的特點(diǎn)是按照如下步驟進(jìn)行：

步驟1、對(duì)光場數(shù)據(jù)進(jìn)行重聚焦，得到不同聚焦參數(shù)下的光場數(shù)據(jù)；