[發(fā)明專利]一種深度圖的超分辨率處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410065631.1
• 申請(qǐng)日: 2014-02-25
• 公開(kāi)（公告）號(hào): CN103810685A
• 公開(kāi)（公告）日: 2014-05-21
• 發(fā)明（設(shè)計(jì)）人: 張磊;李陽(yáng)光;張永兵
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 余敏

【技術(shù)領(lǐng)域】

本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，特別是涉及一種基于圖像匹配的深度圖的超分辨率處理方法。

【背景技術(shù)】

超分辨率處理技術(shù)是當(dāng)前計(jì)算機(jī)視覺(jué)、圖像視頻處理等學(xué)科領(lǐng)域的研究熱點(diǎn)之一，用于對(duì)分辨率比較低、細(xì)節(jié)信息較少的自然圖像進(jìn)行處理，生成含有更多細(xì)節(jié)信息的高分辨率圖像，是一種提高原有圖像分辨率的技術(shù)。超分辨率處理技術(shù)已廣泛應(yīng)用于高清影視、圖像壓縮、醫(yī)學(xué)成像、視頻監(jiān)控、衛(wèi)星圖像分析等領(lǐng)域。尤其是近30年來(lái)，超分辨率技術(shù)更是得到廣泛和深入的研究。深度圖包含著場(chǎng)景中物體的三維深度信息，在三維視覺(jué)場(chǎng)景構(gòu)建中有著重要作用。一張良好的高分辨率深度圖，能夠使對(duì)應(yīng)的彩色圖像像素點(diǎn)投影到三維立體場(chǎng)景中顯示出清晰完整的效果，是對(duì)高效優(yōu)質(zhì)的立體場(chǎng)景構(gòu)建的有力支持。因此，獲取高質(zhì)量的高分辨率深度圖在立體視覺(jué)中有著十分重要的意義。

現(xiàn)有獲取深度圖的方法中，有通過(guò)激光深度掃描方法來(lái)獲取，該方法能獲取高質(zhì)量高分辨率的深度圖，但該獲取方法對(duì)設(shè)備和技術(shù)的要求較高，導(dǎo)致成本代價(jià)高昂，并且大部分都是一次只掃描一個(gè)點(diǎn)，獲取的速度很慢，難以滿足實(shí)時(shí)要求。也有通過(guò)深度相機(jī)，如時(shí)間飛行（time-of-flight，簡(jiǎn)稱TOF）相機(jī)等，直接對(duì)場(chǎng)景進(jìn)行拍攝采集，實(shí)時(shí)快速獲得深度圖，但是該方法只能獲得低分辨率深度圖，要得到高分辨率深度圖還需進(jìn)一步處理。現(xiàn)有的處理方法中，有采用超分辨率方法直接對(duì)深度圖進(jìn)行超分辨率處理，處理后無(wú)法保證得到的高分辨率深度圖在實(shí)際的場(chǎng)景渲染中的質(zhì)量，因此沒(méi)有多大的實(shí)際意義。

【發(fā)明內(nèi)容】

本發(fā)明所要解決的技術(shù)問(wèn)題是：彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種深度圖的超分辨率處理方法，處理得到的高分辨率深度圖的深度信息更精確。

本發(fā)明的技術(shù)問(wèn)題通過(guò)以下的技術(shù)方案予以解決：

一種深度圖的超分辨率處理方法，包括以下步驟：首先，在第一位置和第二位置對(duì)同一場(chǎng)景進(jìn)行圖像采集，分別獲取第一原始圖像（S1）和第二原始圖像（S2）；獲取所述第一原始圖像（S1）的低分辨率深度圖（d）；其次，進(jìn)行如下處理：1）將所述低分辨率深度圖（d）劃分為多個(gè)深度圖像塊；2）對(duì)步驟1）得到的各個(gè)深度圖像塊分別進(jìn)行如下處理：21）采用多種超分辨率處理方法分別對(duì)當(dāng)前塊進(jìn)行超分辨率處理，得到多個(gè)與所述第一原始圖像（S1）相同分辨率的初始的高分辨率深度圖像塊；22）遍歷步驟21）得到的多個(gè)高分辨率深度圖像塊，分別結(jié)合所述第一原始圖像（S1）中對(duì)應(yīng)當(dāng)前塊的相應(yīng)圖像塊，采用圖像合成技術(shù)，根據(jù)所述第一位置和所述第二位置的相對(duì)位置關(guān)系，合成得到多個(gè)對(duì)應(yīng)所述第二原始圖像（S2）的圖像塊，定義為多個(gè)合成圖像塊；23）遍歷步驟22）中得到的多個(gè)合成圖像塊，分別計(jì)算各個(gè)合成圖像塊與所述第二原始圖像（S2）中對(duì)應(yīng)當(dāng)前塊的相應(yīng)塊的匹配程度，確定匹配程度最高的合成圖像塊，將所述匹配程度最高的合成圖像塊對(duì)應(yīng)的高分辨率深度圖像塊確定為當(dāng)前塊的最終的高分辨率深度圖像塊；3）按照各個(gè)深度圖像塊在所述低分辨率深度圖（d）中的位置，將各個(gè)深度圖像塊的高分辨率深度圖像塊整合成一幅圖像，得到所述低分辨率深度圖（d）的超分辨率處理圖像。

本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果是：

本發(fā)明的深度圖的超分辨率處理方法，通過(guò)采用已有的多種超分辨率方法分別對(duì)深度圖各塊進(jìn)行超分辨率，根據(jù)生成的高分辨率深度圖結(jié)果分別結(jié)合相應(yīng)的第一原始圖像塊，生成對(duì)應(yīng)于第二原始圖像的合成圖像塊，利用生成的合成圖像塊分別和已知的第二原始圖像塊進(jìn)行匹配，通過(guò)最匹配的合成圖像塊得出要找的高分辨率深度圖像塊。方法中基于合成圖像與實(shí)際圖像的匹配程度，確定出高分辨率深度圖，則確定的高分辨率深度圖與實(shí)際情形更匹配，更接近，即高分辨率深度圖的深度信息更精確，從而處理得到的高分辨率深度圖更有實(shí)際意義和使用價(jià)值。

【附圖說(shuō)明】

圖1是本發(fā)明具體實(shí)施方式的深度圖的超分辨率處理方法的流程圖；

圖2是本發(fā)明具體實(shí)施方式的深度圖的超分辨率處理方法中的投影和還原成像的原理示意圖。

【具體實(shí)施方式】

下面結(jié)合具體實(shí)施方式并對(duì)照附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。