[發明專利]基于雙變換域的高倍率超分辨率方法

有效

• 申請號: 201710764485.5
• 申請日: 2017-08-30
• 公開（公告）號: CN107657585B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 姜中玉;楊敬鈺;岳煥景;侯永宏;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于雙變換域的多層級聯的深度圖超分辨率方法，其特征是，具體步驟如下：對于每一級的小倍率超分辨率問題，利用式(1)進行建模：

其中，令F(α)＝E_D(x,y)+λ₁E_TR(x,z)+λ₂E_SR(x,z),x∈Rⁿ，y∈R^m,z∈Rⁿ分別是向量化的恢復的深度圖，向量化的低分辨率深度圖和向量化的高分辨率彩色圖，E_D(x,y)是數據項，E_TR(x,z)是變換域正則項，E_SR(x,z)是空域正則項，λ₁和λ₂是平衡各項的權重參數，min表示求最小值，表示使得后面的式子最小時的變量x的取值；H表示模糊和采樣的合成算子，α_i表示塊x_i在字典下的系數，表示塊x_i所在的那一類塊對應的字典，x_i是深度圖x中中心位于i的圖像塊；α_q是塊x_i的第q個相似塊x_i,q對應的稀疏系數，q屬于相似塊組成的集合Ω_i，ζ_i,q是相應的加權權重；核P_m,l包含的四項分別是空域項彩色項深度項和結構張量項和分別表示讓圖像x沿著水平和豎直方向移動l和m個像素，C為選出的(m,l)的集合，不同(m,l)組合下的表示不同方向的總變差算子，∈表示屬于，||·||₂是l₂范數，||·||₁是l₁范數，∑表示求和算子；Θ是標準化因子；結構張量項為：

其中，max(·)是求最大值的函數，是以常數e為底的指數函數，ψ{·}是按照降序排序的排序函數，并且返回排序的數值結果r_m,l(u)，cos(·)是余弦函數，v_m,l是總變差算子的方向，v₁(u)表示結構張量在像素u處的第一個特征向量，|·|表示絕對值，a,b和c是常數；

求解公式(1)獲得最終小倍率的超分辨率的結果；

把一個高倍率的問題變成多級小倍率的級聯問題即多層級聯的超分辨率方法，其具體的構造方法如下：構造一個L層的級聯網絡，每層上采樣的倍率是2，即每層只解決一個2倍上采樣的問題，設第k-1層的輸出為x_k-1，首先采用bicubic方法對其進行2倍上采樣x_k-1↑²，這個上采樣后的深度圖作為第k層的輸入，即對于不能表示為2的冪次的超分辨率倍率，在每一層采用小數倍率進行上采樣。

2.如權利要求1所述的基于雙變換域的多層級聯的深度圖超分辨率方法，其特征是，對式(1)的具體求解步驟為：

31)利用再加權最小二乘算法IRLS算法對式(1)進行變形：

其中W_m,l是對角元素為的對角矩陣；

矩陣其中I是單位陣，矩陣其中0是元素全為零的向量，表示所有α_i的串接α與字典的串接Φ的一種乘加運算，具體就是R_i表示從圖x中提取塊x_i的線性算子，表示塊x_i所在的那一類塊對應的字典，α_i表示塊x_i在字典下的系數，M表示深度圖中提取的塊的個數，(·)^-1是求逆運算，(·)^T是轉置運算，是開根號運算；

32)求解優化方程：PG算法的主要思想是使得一個函數Q(α,ρ)在點ρ附近迭代地接近原始問題F(α)，則最小化原始問題F(α)替換為最小化Q(α,ρ)，定義函數h(α)和g(α)如下：

g(α)＝∑_i||α_i-β_i||₁ (4)

則根據PG算法定義函數Q(α,ρ)為如下形式：

其中表示h(·)的梯度，L_f是一個大于h(α)的海賽矩陣的譜范數的常數，·,·表示內積算子，則第l+1次迭代得到的系數α^(l+1)更新為：

其中：

ρ^(l)為第l次迭代時的ρ，Φ^T表示Φ的轉置，B^T表示B的轉置，表示串接后的一種乘加運算，則最終得到

其中soft(·)是軟閾值函數，d₀＝1，β是所有β_i的串接，α^(l)為第l次迭代時的α，在得到更新的α^(l+1)之后，進一步得到第l+1次迭代更新的深度圖x^(l+1)：