[發明專利]基于張量的視頻快照壓縮成像恢復方法

有效

• 申請號: 201911389380.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111147863B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 孫岳;王軍軍;魯衛軍;李穎
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04N19/44
• 分類號: H04N19/44;H04N19/19;H04N19/192;H04N19/36;H04N19/97;H04N19/176
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;黎漢華

1.一種基于張量的視頻快照壓縮成像恢復方法，其特征在于，包括如下：

(1)輸入壓縮數據幀Y和掩碼張量其中，壓縮數據幀掩碼張量壓縮數據幀為F個連續視頻幀的第f幀，1≤f≤F，作為三階張量視頻數據的第f個正面切面，為與第f幀視頻相對應的掩碼矩陣，其為0和1構成的稀疏矩陣，作為三階掩碼張量的第f個正面切面，n₁和n₂分別表示每一幀視頻幀的長和寬，⊙表示基于元素的矩陣乘積，為噪聲；

(2)利用壓縮數據幀Y和掩碼張量自適應計算壓縮數據幀Y對應的噪聲方差

(3)基于(1)中的壓縮數據幀Y和掩碼張量c以及(2)得到的噪聲方差利用非局部相似塊張量恢復方法，計算三階目標張量的初步估計張量

3a)利用非局部相似塊張量，以加權張量核范數作為約束，得到交替方向乘子法框架下的增廣拉格朗日目標函數其中為待恢復的目標張量，為輔助張量，為拉格朗日乘子張量；增廣拉格朗日目標函數表示如下：

其中，為目標張量，為輔助張量，為拉格朗日乘子張量，表示由三階張量得到的N₁個非局部相似塊張量的第i個張量，1≤i≤N₁，表示從輔助張量到尺寸為n₁×n₂的壓縮幀的壓縮映射操作，為三階輔助張量的第f個正面切面，為三階掩碼張量的第f個掩碼矩陣，其元素為0和1構成的稀疏矩陣，1≤f≤F，n₁和n₂分別表示每一視頻幀的長和寬，F表示被壓縮的視頻幀數，⊙表示基于元素的矩陣乘積，||·||_wt,*表示三階張量的加權核范數，||·||_F表示三階張量的Frobenius范數，η為平衡目標函數函數的第一項和第二項的參數，ρ為懲罰因子；

由三階張量得到的N₁個非局部相似塊張量的第i個三階張量通過如下步驟求解：

第一步，將三階張量χ劃分為N₁個重疊的中心塊矩陣B_i，1≤i≤N₁，每個中心塊矩陣B_i的大小為d₁×d₂；

第二步，以每個中心塊矩陣B_i，1≤i≤N₁，為中心建立一個尺寸為L₁×L₂×T₁的搜索窗，這里L₁和L₂表示一個視頻幀內的空間上窗口的大小，T₁表示跨視頻幀時間上的窗口大小；

第三步，在搜索窗內找出每個中心塊矩陣B_i的M₁-1個非局部相似塊矩陣，將每個中心塊矩陣和其M₁-1個非局部相似塊矩陣按照正面切面排列得到三階張量1≤i≤N₁，其中，三階張量的第一個正面切面為其中心塊矩陣B_i；

3b)初始化目標函數中的平衡參數η和懲罰因子ρ，初始化目標圖像輔助變量和拉格朗日乘子張量均為全零三階張量，其中，全零三階張量定義為張量元素均為0的三階張量；

3c)采用交替最小化方法對目標函數中的輔助變量目標張量和拉格朗日乘子張量進行交替迭代求解，得到對三階目標張量視頻數據的初步估計張量具體實現如下：

3c1)固定目標張量為拉格朗日乘子張量為將步驟3a)中的目標函數變為以下關于輔助變量的目標函數

其中，為第k-1輪迭代求解得到的目標張量第k-1輪迭代求解得到的拉格朗日乘子張量K₁為得到三階目標張量視頻數據的初步估計張量所需的最大迭代次數，表示從輔助張量到尺寸為n₁×n₂的壓縮幀的壓縮映射操作，n₁和n₂分別表示每一幀視頻幀的長和寬，||·||_F表示三階張量的Frobenius范數，ρ為懲罰因子；

3c2)按照目標目標函數最小原則求輔助變量得到第k輪迭代的輔助變量

3c3)固定輔助變量為3c2)得到的拉格朗日乘子張量為第k-1輪迭代得到的將步驟3a)中的目標函數求解目標張量轉化為以下最小化問題：

其中，表示由三階目標張量得到的N₁個非局部相似塊張量的第i個張量，1≤i≤N₁，表示由三階張量得到的N₁個非局部相似塊張量的第i個張量，1≤i≤N₁，由三階張量構造相似塊張量的方法與構造相似塊三階張量的方法相同，||·||_wt,*表示三階張量的加權核范數；

3c4)對每個相似塊張量進行張量奇異值分解其中，張量其中為相似塊張量的奇異值對角張量，和為兩個正交張量，表示的共軛轉置，·表示兩個張量的t-積，對于任意兩個三階張量和其t-積為：定義三階張量第q行第w列的元素為：

其中，表示管向量和的循環卷積；

3c5)將相似塊張量的奇異值對角張量沿著其第三維進行傅里葉變換，并對傅里葉變換后的張量進行塊對角化操作，得到奇異值對角張量的頻域塊對角化矩陣

3c6)將每個奇異值對角張量的頻域塊對角化矩陣向量化為向量形式對向量e_i進行軟判決操作，得到估計向量估計向量的第p個元素為為：

其中，表示軟判決函數，其數學表達式為：

其中，e_ip表示向量e_i的第p個元素，1≤p≤d₁M₁d₂M₁，為與e_ip對應的閾值，常量ε＝10^-6，為步驟2所求噪聲方差，d₁、d₂和M₁分別為非局部相似塊矩陣的行、列和個數；

3c7)將每個估計向量依次進行反對角化和反傅里葉變換，得到估計張量為：

其中，和是相似塊張量進行張量奇異值分解得到的兩個正交張量，為估計向量依次進行反對角化和反傅里葉變換得到的估計張量；

3c8)利用N₁個相似塊估計張量進行重構得到第k輪迭代的目標張量

3c9)更新輔助變量

其中，第k輪迭代求解得到的目標張量為第k輪迭代求解得到的輔助變量為第k-1輪迭代求解得到的拉格朗日乘子張量

3c10)令k＝k+1，迭代執行上述步驟3c1)-3c9)，直到迭代次數k等于得到初步估計所需的最大迭代次數，即k＝K₁，將作為三階張量視頻數據的初步估計

(4)基于視頻數據的初步估計和掩碼張量利用非局部相似塊矩陣恢復方法，得到對三階目標張量視頻數據的細節補全后的最終估計張量

4a)利用非局部相似塊矩陣，以加權矩陣核范數作為約束，得到交替方向乘子法框架下的增廣拉格朗日目標函數其中為待恢復的目標張量，為輔助張量，為拉格朗日乘子張量；增廣拉格朗日目標函數表示如下：

其中,為目標張量，為拉格朗日乘子張量，為輔助變量，η為平衡目標函數的第一項和第二項的參數，ρ為懲罰項因子，||·||_w,*表示矩陣的加權核范數，||·||_F表示三階張量的Frobenius范數，A_h表示由三階張量構成的第h個非局部相似塊矩陣，1≤h≤N₂，表示從三階張量到尺寸為n₁×n₂的壓縮幀的壓縮映射操作，為三階張量的第f個正面切面，為三階掩碼張量的第f個掩碼矩陣，其元素為0和1構成的稀疏矩陣，1≤f≤F，n₁和n₂分別表示每一視頻幀的長和寬，F表示被壓縮的連續視頻幀數，⊙表示基于元素的矩陣乘積；由三階目標張量得到的N₂個非局部相似塊矩陣的第h個矩陣A_h，通過如下步驟求解：

第一步，將三階張量分為N₂個重疊的大小為d₃×d₄中心塊，每個中心塊用列向量a_h∈d₃d₄表示，1≤h≤N₂；

第二步，以每個中心塊向量a_h，1≤h≤N₂，為中心建立一個尺寸為L₃×L₄×T₂的搜索窗，其中，L₃×L₄表示一個視頻幀內的空間上窗口大小，T₂表示跨視頻幀時間上的窗口大小；

第三步，在搜索窗內找出每個中心塊向量a_h的M₂-1個非局部相似塊，將每個中心塊向量和其M₂-1個非局部相似塊按列排列得到相似塊矩陣其中，相似塊矩陣A_h的第一列為其中心塊向量a_h；

4b)采用交替最小化方法對目標函數中的輔助張量目標張量和拉格朗日乘子張量進行交替迭代求解，得到對三階目標張量視頻數據的最終估計張量最終得到快照壓縮恢復的圖像，具體實現如下：

4b1)固定目標張量為拉格朗日乘子張量為將步驟4a)中的目標函數變為以下關于輔助變量的目標函數

其中，為第k-1次迭代求解得到的目標張量為第k-1輪迭代求解得到的拉格朗日乘子張量K₁+1≤k≤K₂，K₁為初步估計所需的最大迭代次數，K₂為總的最大迭代次數，ρ為懲罰項因子，||·||_F表示三階張量的Frobenius范數，表示從三階張量到尺寸為n₁×n₂的壓縮幀的壓縮映射操作，n₁和n₂分別表示每一視頻幀的長和寬；

4b2)按照目標函數最小原則求輔助變量得到第k輪迭代的輔助變量

4b3)根據4b2)得到的輔助變量第k-1輪得到的拉格朗日乘子張量和4a)中的目標函數求解目標張量為第k輪迭代需要求解的目標張量其求解過程為固定輔助變量為拉格朗日乘子張量為由目標函數求解目標張量轉化為以下最小化問題：

其中，表示矩陣的加權核范數，η為平衡參數；

4b4)由三階張量構造N₂個非局部相似塊矩陣由構造非局部相似塊矩陣R_h的方法與目標張量構造相似塊矩陣A_h的方法相同；

4b5)對每個相似塊矩陣R_h，1≤h≤N₂，進行矩陣奇異值分解得到相似塊矩陣R_h的奇異值對角矩陣其中，和為兩個正交矩陣，表示V_h的共軛轉置；

4b6)對每個相似塊矩陣R_h的奇異值對角矩陣Σ_h，1≤h≤N₂，進行軟判決操作得到與相似塊矩陣對應的估計矩陣

其中，和為4b5)所述矩陣R_h奇異值分解得到的兩個正交矩陣，表示對奇異值對角矩陣Σ_h進行軟判決得到的矩陣，其第j個主對角元素為S_w(Σ_h)_jj：

S_w(Σ_h)_jj＝max(Σ_hjj-w_j,0)，1≤j≤min(d₃d₄,M₂)，

其中，Σ_hjj表示奇異值對角矩陣的第j個主對角元素，為第j個閾值，σ_j(A_h)為相似塊矩陣A_h的第j個奇異值，0≤j≤min(d₃d₄,M₂)，常量ε為10^-6，M₂為相似塊矩陣的個數；

4b7)利用N₂個估計矩陣進行重構得到第k輪迭代的目標張量

4b8)更新輔助變量

其中，第k輪迭代求解得到的目標張量為第k輪迭代求解得到的輔助變量為第k-1輪迭代求解得到的拉格朗日乘子張量

4b9)令k＝k+1，迭代執行上述步驟4b1)-4b8)，直到迭代次數k達到總的最大迭代次數K₂，即k＝K₂，得到目標張量視頻數據的最終估計最終得到快照壓縮恢復的圖像。

2.根據權利要求1所述的方法，其特征在于，(2)中利用壓縮數據幀Y和掩碼張量自適應計算壓縮數據幀Y對應的噪聲方差具體實現如下：

第一步，判斷在處理壓縮數據幀Y之前是否已處理過同類大小壓縮數據幀并已獲得Y₀的最優初始噪聲方差若是，執行第二步，否則，執行第三步；

第二步，通過Y₀的最優初始噪聲方差計算壓縮數據幀Y對應的初始噪聲方差為：

其中，Y_ij表示壓縮數據幀中第i行第j列的元素，Y_0ij表示壓縮數據幀中第i行第j列的元素，1≤i≤n₁，1≤j≤n₂，n₁和n₂分別表示每一數據幀的長和寬，B＝αF，α表示三階掩碼張量中元素1所占的百分比，0＜α＜1，F表示被壓縮的視頻幀數，為已處理過的壓縮數據幀Y₀對應的最優初始噪聲方差；

第三步，利用壓縮數據幀Y，對其噪聲方差參數采用多次賦值測試，選擇性能最好的賦值作為壓縮數據幀Y的初始噪聲方差