[發明專利]一種基于自回歸模型的深度圖增強方法

在審

• 申請號: 202210040794.9
• 申請日: 2022-01-14
• 公開（公告）號: CN114519682A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 楊洋;于紅蓓;趙巖;曾蘭玲;王新宇
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T5/20
• 分類號: G06T5/20;G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于自回歸模型的深度圖增強方法，其特征在于，包括：

S1，設置矩陣網格參數σ_l(亮度帶寬)、σ_u,v(彩色帶寬)、σ_x,y(空間帶寬)以及平滑參數λ，選擇待增強的深度圖像，并建立深度圖像的目標函數；

S2，求解深度圖像的目標函數，對深度圖像進行增強，得到處理后的深度圖。

2.根據權利要求1所述的一種基于自回歸模型的深度圖增強方法，其特征在于，所述S1中，建立待增強深度圖像的目標函數如下：

其中，I是輸入要處理的深度圖某處的實際深度值，λ是一個可調節的平滑參數，是雙邊仿射矩陣，O是需要增強的深度值，i,j代表像素在圖像中的位置，C是該處深度值的置信度，分為深度圖糾正和深度圖上采樣兩種情況。

3.根據權利要求2所述的一種基于自回歸模型的深度圖增強方法，其特征在于，若為深度圖糾正，該處為邊緣區域時，可信度較低，該處為平滑區域時，可信度較高，其置信度求解公式為

其中，I為需要糾正的深度圖像，G為彩色引導圖像，σ_c為平滑參數其設置為0.125。

4.根據權利要求2所述的一種基于自回歸模型的深度圖增強方法，其特征在于，若為深度圖上采樣，首先將低分辨率的深度圖插值到相應的分辨率，那么插值處的置信度為低，并且與真實深度值相差越大，其置信度也就越低，此時采用高斯函數包絡的方法計算局部置信度：

其中，f為上采樣的倍數，F為f行f列的矩陣。

隨后，將C_f縱向復制m份，橫向復制n份得到相應分辨率下的置信度C，a為待增強深度圖的長，b為待增強深度圖的寬，具體來說，其置信度為

5.根據權利要2所述的一種基于自回歸模型的深度圖增強方法，其特征在于，所述S2中使用簡化的雙邊仿射矩陣求解目標函數。

6.根據權利要求2所述的一種基于自回歸模型的深度圖增強方法，其特征在于，簡化的雙邊仿射矩陣的解法如下：

定義雙邊仿射矩陣：

其中表示像素j的空間位置，分別代表像素i的l、u、v通道的值，σ_x,y，σ_l，σ_uv指的是三個可調節的參數，從雙邊仿射矩陣的定義式可以看出像素i和像素j之間距離越近，顏色越接近，對應的雙邊仿射矩陣的值A_i,j就越大；

將雙邊仿射矩陣近似處理：

A≈S^TBS

S^T、B、S分別代表Splat、Blur、Slice過程，具體如下：

Splat：將每個像素值x_i投射到最接近p_i的頂點上；

Blur：對雙邊空間的頂點值執行平滑操作；

Slice：從最接近p_i的頂點的模糊值來插值新的像素值；

因此，在目標函數中使用的由下式定義：

其中D_m、D_n是對角矩陣。