[發(fā)明專利]一種基于L1-L2罰函數(shù)的深度圖超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510825906.1
• 申請(qǐng)日: 2015-11-25
• 公開(kāi)（公告）號(hào): CN105354797B
• 公開(kāi)（公告）日: 2018-05-25
• 發(fā)明（設(shè)計(jì)）人: 袁紅星
• 申請(qǐng)（專利權(quán)）人: 寧波工程學(xué)院
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40
• 代理公司: 寧波市天晟知識(shí)產(chǎn)權(quán)代理有限公司 33219
• 代理人: 張文忠

本發(fā)明公開(kāi)了一種基于L1?L2罰函數(shù)的深度圖超分辨率重建方法，包括以下步驟：步驟一、初始估計(jì)深度的計(jì)算：將低分辨率的深度圖映射到高分辨率彩色圖像坐標(biāo)平面；步驟二、掩模矩陣的計(jì)算：構(gòu)造對(duì)角矩陣，若第i個(gè)像素點(diǎn)位于低分辨率深度圖在高分辨率彩色圖像的映射坐標(biāo)之上，其第i個(gè)對(duì)角元素為1，否則為0；步驟三、近鄰矩陣的計(jì)算：通過(guò)高分辨率彩色圖像像素點(diǎn)之間在YCbCr空間上的顏色相似性構(gòu)造近鄰矩陣；步驟四、構(gòu)造深度超分辨率重建模型：建立深度超分辨率重建的能量模型；步驟五、求解能量模型，獲得重建的高分辨率深度圖。本發(fā)明的優(yōu)點(diǎn)在于：能夠在保持對(duì)象內(nèi)部深度平滑過(guò)渡的同時(shí)，增強(qiáng)深度圖的對(duì)象邊緣。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，尤其指一種基于L1-L2罰函數(shù)的深度圖超分辨率重建方法，用于立體視覺(jué)或深度傳感器獲取圖像的超分辨率增強(qiáng)。

背景技術(shù)

機(jī)器人導(dǎo)航、機(jī)器人自主抓取、手勢(shì)識(shí)別、碰撞檢測(cè)、3D重建、工業(yè)自動(dòng)化及虛擬現(xiàn)實(shí)都依賴于高分辨率的深度信息。雖然隨著深度相機(jī)的廣泛普及，我們可實(shí)時(shí)獲得3D場(chǎng)景的深度；但受傳感器的限制，這些相機(jī)僅能獲取低分辨率的深度圖。這一局限性限制了深度相機(jī)在上述場(chǎng)合應(yīng)用的性能。為此，人們提出各種方法用于深度圖的分辨率增強(qiáng)；深度圖超分辨率重建是指不改變深度相機(jī)硬件的前提下，通過(guò)算法提高深度圖分辨率和質(zhì)量的技術(shù)。

當(dāng)前廣泛采用的方法是基于圖像引導(dǎo)的技術(shù)，即假設(shè)高分辨率彩色圖像的邊緣對(duì)應(yīng)著深度圖的邊緣，將深度圖的坐標(biāo)映射到高分辨率的彩色圖像平面，然后根據(jù)坐標(biāo)點(diǎn)之間顏色或亮度的相似性進(jìn)行深度插值?，F(xiàn)有方法存在的問(wèn)題是難以保持深度圖的對(duì)象邊緣，而對(duì)象邊緣包含了深度圖的主要能量，決定了其后續(xù)應(yīng)用的效果。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的現(xiàn)狀，提供重建效果好，能夠在保持對(duì)象內(nèi)部深度平滑過(guò)渡的同時(shí)，增強(qiáng)深度圖的對(duì)象邊緣的一種基于L1-L2罰函數(shù)的深度圖超分辨率重建方法。

本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：

一種基于L1-L2罰函數(shù)的深度圖超分辨率重建方法，其特征是：包括以下步驟：

步驟一、初始估計(jì)深度的計(jì)算：將低分辨率的深度圖映射到高分辨率彩色圖像坐標(biāo)平面；

步驟二、掩模矩陣的計(jì)算：構(gòu)造對(duì)角矩陣，若第i個(gè)像素點(diǎn)位于低分辨率深度圖在高分辨率彩色圖像的映射坐標(biāo)之上，其第i個(gè)對(duì)角元素為1，否則該元素為0；

步驟三、近鄰矩陣的計(jì)算：通過(guò)高分辨率彩色圖像像素點(diǎn)之間在YCbCr空間上的顏色相似性構(gòu)造近鄰矩陣；

步驟四、構(gòu)造深度超分辨率重建模型：建立深度超分辨率重建的能量模型，第一項(xiàng)為重建深度與初始深度之間的差異，即保真項(xiàng)，第二項(xiàng)為L(zhǎng)1-L2罰函數(shù)正則項(xiàng)；

步驟五、能量模型求解：對(duì)于步驟四構(gòu)造的能量模型，采用廣義迭代重新加權(quán)最小二乘法予以求解，獲得重建的高分辨率深度圖。

為優(yōu)化上述技術(shù)方案，采取的具體措施還包括：

上述的步驟一的初始估計(jì)深度的計(jì)算中，映射計(jì)算公式為：

B(sr,sc)＝Y(jié)(r,c)

其中B為初始深度圖的矩陣表示，Y為低分辨率深度圖的矩陣表示，(r,c)表示空間坐標(biāo)，s為分辨率增大倍數(shù)。

上述的步驟三的近鄰矩陣的計(jì)算中，相似性計(jì)算公式為：