[發(fā)明專(zhuān)利]基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710362462.1
• 申請(qǐng)日: 2017-05-22
• 公開(kāi)（公告）號(hào): CN107194893A
• 公開(kāi)（公告）日: 2017-09-22
• 發(fā)明（設(shè)計(jì)）人: 董偉生;丁雯慶;石光明;謝雪梅;李甫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安電子科技大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專(zhuān)利中心61205
• 代理人: 王品華,朱紅星

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種深度圖像超分辨方法，可用于下采樣后的深度圖像超分辨。

技術(shù)背景

隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，傳統(tǒng)的彩色圖像不能準(zhǔn)確地刻畫(huà)現(xiàn)實(shí)的立體場(chǎng)景，因此已經(jīng)不能滿足人們認(rèn)知世界的需求。彩色圖像包含場(chǎng)景物體的色彩信息，描述的是二維信息，不能精確地描述場(chǎng)景的三維立體結(jié)構(gòu)。而三維立體影像圖像除了包含傳統(tǒng)的二維信息還包含場(chǎng)景的第三個(gè)維度的信息，也就是場(chǎng)景的深度信息。三維立體重建技術(shù)通過(guò)深度圖像能夠重構(gòu)出現(xiàn)實(shí)場(chǎng)景的三維立體信息。

盡管目前的深度圖像獲取技術(shù)取得了不錯(cuò)的發(fā)展，但是將獲取的深度圖像與同場(chǎng)景對(duì)應(yīng)的彩色圖像相比，其深度圖像的質(zhì)量依然很差，主要表現(xiàn)在分辨率較低。針對(duì)上述深度傳感技術(shù)獲取的深度圖像分辨較低，人們提出了許多深度圖像超分辨方法。其中，M.-Y.Liu,O.Tuzel,and Y.Taguchi等人發(fā)表在2013IEEE Conf.on Computer Vision and Pattern Recognition上的“Joint geodesic upsampling of depth images”，提出了聯(lián)合測(cè)量濾波的方法，簡(jiǎn)稱(chēng)JGF方法，L.-F.Yu,S.-K.Yeung,Y.-W.Tai等人發(fā)表在2013IEEE Conf.on Computer Vision and Pattern Recognition上的“Shading-based shape refinement of rgb-d images”,提出了邊緣加權(quán)非局部正則的方法，簡(jiǎn)稱(chēng)SBSR-D方法，這些方法都是利用深度圖像和彩色圖像之間結(jié)構(gòu)上的相似性來(lái)對(duì)深度圖像進(jìn)行超分辨，其存在的不足是計(jì)算復(fù)雜度高，超分辨精度低，超分辨的圖像的邊緣部分容易模糊，難以滿足實(shí)際應(yīng)用的要求。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)傳統(tǒng)基于濾波的超分辨方法的不足，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨重構(gòu)方法，以降低計(jì)算復(fù)雜度，提高重構(gòu)深度圖像的精度，減弱超分辨的圖像的邊緣模糊，滿足實(shí)際應(yīng)用的需求。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法，該方法通過(guò)神經(jīng)網(wǎng)絡(luò)的非線性學(xué)習(xí)能力建立從低分辨的深度圖像與對(duì)應(yīng)的彩色圖像到高分辨率的深度圖像的映射的卷積神經(jīng)網(wǎng)絡(luò)模型，并以該卷積神經(jīng)網(wǎng)絡(luò)為指導(dǎo)實(shí)現(xiàn)深度圖像超分辨，具體步驟包括如下：

(1)獲取訓(xùn)練樣本集，對(duì)獲取的訓(xùn)練樣本進(jìn)行預(yù)處理，得到訓(xùn)練樣本對(duì)；

(2)利用卷積神經(jīng)網(wǎng)路強(qiáng)大的非線性學(xué)習(xí)能力，得到低分辨的深度圖像與對(duì)應(yīng)的彩色圖像到高分辨率的深度圖像的映射關(guān)系，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)模型包括輸入層、多個(gè)卷積層和輸出層，確定網(wǎng)絡(luò)結(jié)構(gòu)中卷積層的層數(shù)m以及卷積層中的濾波器的個(gè)數(shù)和濾波器的大小網(wǎng)絡(luò)的激活函數(shù)采用relu函數(shù)，relu(x)＝max(0,x)；

(3)訓(xùn)練(2)中卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)：初始化網(wǎng)絡(luò)各層的濾波器的權(quán)值和偏置，采用最小化損失函數(shù)的方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代優(yōu)化，經(jīng)過(guò)多次迭代后獲取網(wǎng)絡(luò)模型結(jié)構(gòu)中權(quán)重值W和偏置值b的最優(yōu)解，得到最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)模型；

(4)利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)低分辨深度圖像進(jìn)行超分辨。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

1)本發(fā)明由于利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度圖像超分辨，相比現(xiàn)有技術(shù)降低了計(jì)算復(fù)雜度，提高了深度圖像超分辨的精度；

2)本發(fā)明所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型，由于充分考慮了深度圖像和彩色圖像的邊緣部分的結(jié)構(gòu)相似性，減弱了超分辨圖像的邊緣模糊。

附圖說(shuō)明

圖1為本發(fā)明的實(shí)現(xiàn)流程圖；

圖2為本發(fā)明構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖3為本發(fā)明仿真實(shí)驗(yàn)所用的moebius和dolls深度圖像；

圖4為現(xiàn)有的JGF方法、SBSR-D方法以及本發(fā)明方法對(duì)moebius深度圖像超分辨的結(jié)果圖。

圖5為現(xiàn)有的JGF方法、SBSR-D方法以及本發(fā)明方法對(duì)dolls深度圖像超分辨的結(jié)果圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施例和效果做進(jìn)一步詳細(xì)描述。

參照?qǐng)D1，本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法，其實(shí)現(xiàn)步驟如下：

步驟1，構(gòu)造訓(xùn)練樣本對(duì)，獲取高分辨深度圖像集X、初始恢復(fù)深度圖像和與高分辨深度圖像對(duì)應(yīng)的彩色圖像集C，對(duì)深度圖像進(jìn)行預(yù)處理，得到訓(xùn)練樣本對(duì)。