[發(fā)明專利]一種基于自回歸模型的深度圖增強方法

在審

• 申請?zhí)枺?/td>: 202210040794.9
• 申請日: 2022-01-14
• 公開（公告）號: CN114519682A
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計）人: 楊洋;于紅蓓;趙巖;曾蘭玲;王新宇
• 申請（專利權(quán)）人: 江蘇大學(xué)
• 主分類號: G06T5/20
• 分類號: G06T5/20;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于自回歸模型的深度圖增強方法。給定用戶輸入的圖像以及參數(shù)，該方法首先根據(jù)深度圖像得出對應(yīng)的置信度，之后對深度圖做糾正和上采樣操作。針對深度圖糾正，給予不可信的邊緣區(qū)域較低的置信度，給予可信的平坦區(qū)域較高的置信度。針對深度圖上采樣，首先將低分辨率的深度圖插值得到高分辨率的深度圖，給予不可信的插值深度值較低的置信度，給予可信的原始深度值較高的置信度；最后將要處理的圖像以及得到的置信度和相應(yīng)的參考圖像輸入到我們的模型中并對模型進行求解就達到了深度圖增強的目標(biāo)。實驗結(jié)果表明，本文方法在保證了處理速度的同時，能夠克服偽影、保邊平滑，取得了較好的深度圖增強效果。

技術(shù)領(lǐng)域

本發(fā)明屬于計算攝影技術(shù)領(lǐng)域，具體是一種基于自回歸模型的深度圖增強方法。

背景技術(shù)

在計算機視覺領(lǐng)域，深度信息一直發(fā)揮著不可替代的作用。現(xiàn)有的獲取深度信息的方法包括激光測距掃描儀，Kinect相機，TOF相機等。但是這些方法都存在著各種各樣的問題，激光測距掃描儀雖然精度高，但是實時性差并且存在數(shù)據(jù)缺失，Kinect相機速度快，但是測距短，并且獲取的深度信息“空洞現(xiàn)象”，TOF相機實時性強，但獲取的深度圖像分辨率低且存在大量的隨機噪聲。除使用儀器獲取深度數(shù)據(jù)外，通過深度學(xué)習(xí)的方式獲取深度圖也是現(xiàn)在計算機視覺領(lǐng)域的趨勢，但這種方式獲取到的深度圖像往往存在較多的差值。為了對由成像設(shè)備獲取的深度圖像及深度學(xué)習(xí)獲取得到的深度圖像進行處理，提高分辨率并糾正錯誤深度值，使其能夠達到相關(guān)應(yīng)用的要求，就需要深度圖增強技術(shù)。

現(xiàn)有的深度圖增強方法可分為傳統(tǒng)方法以及求解器兩類。比較經(jīng)典的傳統(tǒng)方法包括雙邊濾波，引導(dǎo)圖濾波和加權(quán)中值濾波，這些方法比較靈活，速度快且效率高，但是在進行深度圖糾正任務(wù)時，這些方法表現(xiàn)不好，無法達到較好的糾正效果。快速雙邊求解器是求解器深度圖增強方法的代表方法，該方法速度快且能應(yīng)用于多種計算機視覺任務(wù)，但是由該求解器得到的深度圖會產(chǎn)生偽影現(xiàn)象。

本發(fā)明提出了一種新的基于自回歸模型的深度圖增強方法，該方法既能較好地糾正深度圖像，實現(xiàn)深度圖上采樣，又能較好地克服快速雙邊求解器會產(chǎn)生的偽影現(xiàn)象，并且具有較高的計算效率。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中存在的問題，提出了一種基于自回歸模型的深度圖增強方法，能夠在保證效率的同時，實現(xiàn)深度圖的上采樣和深度值的糾正，并能有效克服偽影現(xiàn)象。

一種基于自回歸模型的深度圖增強方法，包括以下步驟：

步驟1，設(shè)置矩陣網(wǎng)格參數(shù)σ_l(亮度帶寬)、σ_u,v(彩色帶寬)、σ_x,y(空間帶寬)以及平滑參數(shù)λ，選擇待增強的深度圖像。

步驟2，求解深度圖像的目標(biāo)函數(shù)，對深度圖像進行增強，得到處理后的深度圖；

進一步，對深度圖像進行增強使用的目標(biāo)函數(shù)如下：

其中O是需要增強的深度值；C是該處深度值的可信度，置信度的計算分為深度圖糾正和深度圖上采樣兩種情況。

進一步，簡化的雙邊仿射矩陣解法為：

根據(jù)雙邊仿射矩陣的定義式：

其中表示像素i的空間位置，分別代表像素i的l、u、v通道的值，從雙邊仿射矩陣的定義式可以看出像素i和像素j之間距離越近，顏色越接近，對應(yīng)的雙邊仿射矩陣的值A(chǔ)_i,j就越大。

但是基于雙邊仿射矩陣的定義式求解權(quán)利要求2中所提出的目標(biāo)函數(shù)是不現(xiàn)實的，這是因為一張深度圖的深度值通常是成千上萬的，直接由雙邊仿射矩陣的定義求解目標(biāo)函數(shù)所花費的時間是無法想象的，因此這就需要對雙邊仿射矩陣進行簡化處理，這也是求解目標(biāo)函數(shù)的關(guān)鍵所在。

根據(jù)前人的研究，雙邊仿射矩陣可由以下式子近似得出：