[發(fā)明專(zhuān)利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度感知顯著性檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811294279.3
• 申請(qǐng)日: 2018-11-01
• 公開(kāi)（公告）號(hào): CN109409435B
• 公開(kāi)（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 劉志;丁宇;黃夢(mèng)珂;張俞鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06V10/70;G06N3/04
• 代理公司: 上海上大專(zhuān)利事務(wù)所(普通合伙) 31205
• 代理人: 陸聰明

本發(fā)明公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度感知顯著性檢測(cè)方法，具體步驟如下：a.將深度圖轉(zhuǎn)化為三通道深度圖；b.將三通道深度圖和彩色圖分別送入彩色顯著性網(wǎng)絡(luò)和深度顯著性網(wǎng)絡(luò)中，得到彩色顯著性圖和深度顯著性圖；c.將彩色顯著性圖和深度顯著性圖一起送入顯著性融合網(wǎng)絡(luò)中，得到融合顯著性圖；d.將彩色顯著性圖和深度顯著性圖聯(lián)合訓(xùn)練并計(jì)算損失函數(shù)loss，以此來(lái)訓(xùn)練步驟b和c中的網(wǎng)絡(luò)，讓其擁有更強(qiáng)的特征提取能力。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像顯著性檢測(cè)方法，特別是一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度感知顯著性檢測(cè)方法，旨在通過(guò)RGB圖和深度圖來(lái)檢測(cè)出圖像中的顯著性物體。

背景技術(shù)

顯著性檢測(cè)模仿人類(lèi)視覺(jué)機(jī)制，利用計(jì)算機(jī)對(duì)圖像上在人眼中最顯著的物體進(jìn)行檢測(cè)，顯著性檢測(cè)算法得到的顯著性圖是一種灰度圖，圖中利用灰度值來(lái)表示圖片中不同物體的顯著性程度，圖中越亮的區(qū)域越顯著。近年來(lái)顯著性檢測(cè)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要課題，它可以在很多課題中起到應(yīng)用，比如圖像分類(lèi)，圖像分割和對(duì)象識(shí)別。隨著顯著性檢測(cè)受到越來(lái)越多的關(guān)注，人們開(kāi)始思考如何利用深度信息來(lái)輔助進(jìn)行顯著性檢測(cè)，隨著立體相機(jī)，深度相機(jī)以及微軟的kinect傳感器的出現(xiàn)，深度圖被用到RGBD顯著性檢測(cè)中，RGBD顯著性檢測(cè)在3D內(nèi)容監(jiān)控，立體圖像檢索等方面有重要的應(yīng)用。

現(xiàn)有技術(shù)中，2017年，宋等人針對(duì)RGBD圖像和立體圖像，提出一種深度感知顯著性檢測(cè)和分割框架，通過(guò)利用低級(jí)特征對(duì)比、中級(jí)特征加權(quán)因子和高級(jí)位置先驗(yàn)，基于多尺度區(qū)域分割計(jì)算了四類(lèi)特征的各種顯著性度量，利用隨機(jī)森林回歸器來(lái)區(qū)分顯著性融合并在每個(gè)尺度上生成DSF顯著性圖。2017年，韓等人提出了一個(gè)基于雙流法的RGBD顯著性檢測(cè)框架，該方法分別將彩色圖像和深度圖像分別送入兩個(gè)VGG網(wǎng)絡(luò)，并通過(guò)遷移學(xué)習(xí)的方式，將彩色通道的權(quán)重遷移到深度網(wǎng)絡(luò)中，并采用多尺度融合的方式，將兩種圖所提取的特征進(jìn)行融合得到最后的顯著性圖。2018年，朱等人提出基于編碼器和解碼器結(jié)構(gòu)的RGBD顯著性檢測(cè)方法，該方法將提取RGB顯著特征的網(wǎng)絡(luò)部分作為主網(wǎng)絡(luò)，深度圖用子網(wǎng)絡(luò)來(lái)提取特征，并采用簡(jiǎn)單級(jí)聯(lián)的方式將兩種特征融合再采用解碼器結(jié)構(gòu)將特征圖還原為顯著性圖。以上這些方法雖然利用深度信息來(lái)生成顯著性圖，但對(duì)深度圖中的信息提取不夠，并且沒(méi)有較好的將深度信息和彩色信息進(jìn)行融合。

發(fā)明內(nèi)容

本發(fā)明的目的在于提高現(xiàn)有技術(shù)的性能，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度感知顯著性檢測(cè)方法。其基于深度顯著性網(wǎng)絡(luò)，彩色顯著性網(wǎng)絡(luò)和顯著性融合網(wǎng)絡(luò)，利用深度信息和彩色信息能夠更為準(zhǔn)確地提取出RGBD圖像中的顯著性對(duì)象并將兩種顯著性圖進(jìn)行融合，并且有效地抑制無(wú)關(guān)的背景區(qū)域。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度感知顯著性檢測(cè)方法，具體步驟如下：

a.將深度圖轉(zhuǎn)化為三通道深度圖；

b.將三通道深度圖和彩色圖分別送入彩色顯著性網(wǎng)絡(luò)和深度顯著性網(wǎng)絡(luò)中，得到彩色顯著性圖和深度顯著性圖；

c.將彩色顯著性圖和深度顯著性圖一起送入顯著性融合網(wǎng)絡(luò)中，得到融合顯著性圖；

d.將彩色顯著性圖和深度顯著性圖聯(lián)合訓(xùn)練并計(jì)算損失函數(shù)loss，以此來(lái)訓(xùn)練步驟b和c中的網(wǎng)絡(luò)，讓其擁有更強(qiáng)的特征提取能力；

上述步驟(a)將深度圖轉(zhuǎn)化為三通道深度圖，具體步驟如下：

(a-1)、將深度圖像全部送入HHA算法中，將深度圖轉(zhuǎn)化為水平差異圖，對(duì)地高度圖以及表面法向量圖三種單通道深度圖；

(a-2)、將這三種單通道深度圖的像素值用RGB三種顏色表示，再將三種單通道深度圖組成三通道深度圖。

上述步驟(b)中將兩種圖送入兩種顯著性網(wǎng)絡(luò)，得到彩色顯著性圖和深度顯著性圖，具體步驟如下：

(b-1)、輸入原始彩色圖像和三通道深度圖像其中N表示圖像的總張數(shù)；