[發明專利]圖像序列的加權自適應超分辨率重建方法

無效

• 申請號: 201010123621.0
• 申請日: 2010-03-12
• 公開（公告）號: CN101794440A
• 公開（公告）日: 2010-08-04
• 發明（設計）人: 路小波;曾維理;朱周
• 申請（專利權）人: 東南大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 黃雪蘭

1.一種圖像序列的加權自適應超分辨率重建方法，其特征在于，包括如下步驟：

步驟1取同一傳感器獲得的連續K幀M₁×M₂大小的低分辨率圖像，得到低分辨率圖像序列{Y_k(x，y)：k＝1，2，...，K}，其中，M₁和M₂分別為每幀低分辨率圖像的圖像矩陣的行數和列數，M₁、M₂以及K為正整數，用Y_k(x，y)二維函數形式表示低分辨率圖像序列中第k幀圖像，坐標(x，y)的值為離散量并且x和y都為非負整數，然后對該低分辨率圖像序列進行重采樣，得到重采樣的低分辨率圖像序列，對該低分辨率圖像序列進行重采樣的方法為：

(1.1)選取參考幀，建立圖像序列中偏移圖與參考幀圖像之間的運動變形變換關系模型

以第一幀圖像Y₁(x，y)為參考幀圖像，則第k幀圖像Y_k(x，y)為第一幀圖像Y₁(x，y)經過旋轉角度?水平平移?垂直平移?所得，即：

所述的旋轉角度?水平平移?以及垂直平移?為運動變形參數，所述的運動變形參數?以及?的確定方法為：

步驟1.1：利用維納濾波對低分辨率圖像序列{Y_k(x，y)：k＝1，2，...，K}進行預處理，預處理后的低分辨率圖像序列仍記為{Y_k(x，y)：k＝1，2，...，K}；

步驟1.2：利用建立圖像金字塔的方法，分別對預處理后的K幀低分辨率圖像建立圖像金字塔，其算法如下：對第k幀預處理后的圖像Y_k(x，y)經過低通濾波后并做隔行隔列降采樣，即

其中，f_k，l(x，y)表示第k幀圖像Y_k(x，y)的圖像金字塔中第l層圖像；f_k，0(x，y)為原圖像Y_k(x，y)，作為第k幀圖像Y_k(x，y)的圖像金字塔的底層；L表示第k幀圖像Y_k(x，y)的圖像金字塔的總層數；C_k，l為第k幀圖像Y_k(x，y)的圖像金字塔中第l層圖像的列數；R_k，l為第k幀圖像Y_k(x，y)的圖像金字塔中第l層圖像的行數；其中，l、m、n、L、C_k，l以及R_k，l為大于零的正整數，?為5×5大小的窗口函數，其中，m′和n′為正整數，?為服從高斯密度分布的函數，?服從高斯密度分布的函數滿足如下三個約束條件：?

1)歸一化：m″為整數；

2)對稱性：m″′＝0、1、2；

3)奇偶項等貢獻：

由上面三個約束條件得到

窗口函數w(m′，n′)則表示為

由{f_k，l(x，y)：l＝1，2，...，L}構成了第k幀預處理后的低分辨率圖像Y_k(x，y)的圖像金字塔；

步驟1.3：利用梯度法來估計第k幀圖像Y_k(x，y)的圖像金字塔第L層圖像相對于參考幀圖像Y₁(x，y)的圖像金字塔的第L層的旋轉角度?水平平移?垂直平移?其算法如下：以第一幀圖像?的圖像金字塔第L層圖像f_1，L(x，y)作為參考幀圖像，第k幀圖像Y_k(x，y)的圖像金字塔第L層f_k，L(x，y)作為f_1，L(x，y)經過旋轉角度?水平平移?垂直平移?則f_k，L(x，y)表示為

將?和?用泰勒級數展開到二階，近似得

進一步將f_1，L用泰勒級數展開到一階，近似得

則f_1，L和f_k，L之間的誤差函數表示為

對式(6)關于?求偏導數并令其等于零，忽略高階項后以得到

其中

解線性方程組(7)-(9)，得到旋轉角度?水平平移?垂直平移?

步驟1.4：利用公式以及得到最佳運動變形參數?以及?的值；

(1.2)幾何位置校正

以參考幀圖像Y₁(x，y)的坐標系作為標準坐標系，按照運動變形變換關系模型，把預處理后的低分辨率圖像序列{Y_k(x，y)：k＝1，2，...，K}分別投影到標準坐標系中的相應位置，得到幾何位置校正后的低分辨率圖像序列，幾何位置校正后的低分辨率圖像序列仍然記為{Y_k(x，y)：k＝1，2，...，K}；

(1.3)低分辨率圖像序列的初始重采樣

利用加權拉格朗日插值算法對幾何位置校正后的低分辨率圖像序列{Y_k(x，y)：k＝1，2，...，K}進行重采樣，得到初始重采樣的低分辨率圖像序列；

(1.4)確定圖像區域的輸出范圍

首先把初始重采樣的低分辨率圖像序列投影到標準坐標系中，然后分別找出投影圖像的橫坐標和縱坐標的最大值和最小值，并以此確定圖像區域的輸出范圍，輸出重采樣的低分辨率圖像序列?重采樣的低分辨率圖像序列中每幀圖像的大小為N₁×N₂，其中N₁和N₂為正整數且分別為重采樣的每幀低分辨率圖像的圖像矩陣的行數和列數；

步驟2.利用重采樣的低分辨率圖像序列?重建一幀大小為pN₁×pN₂的高分辨率圖像?其中放大因子p為正整數，重建一幀高分辨率圖像的方法為：

(2.1)建立高分辨率圖像的退化模型

首先將重采樣的低分辨率圖像序列?按行排成列向量，重排后的低分辨率圖像序列記為

同樣將高分辨率圖像?按行排成列向量后，重排后的高分辨率圖像序列記為?其中?為包含?N₁N₂個元素的列向量、?為包含p²N₁N₂個元素的列向量以及T表示轉置；令N＝N₁N₂和M＝p²N₁N₂，則建立如下高分辨率圖像的退化模型

其中，?表示高分辨率圖像；?表示第k幀重采樣后的低分辨率圖像；B表示大小為M×M的模糊矩陣；D表示大小為N×M的降采樣矩陣，

(2.2)建立高分辨率圖像的重建優化模型

根據(2.1)給定的高分辨率圖像的退化模型以及正則化理論，將退化模型中高分辨率圖像的求解過程轉化為如下高分辨率圖像的重建優化模型解的優化過程

其中，w_k表示加權因子，λ(·)表示正則項系數，ρ(·)表示數據殘差項，Γ(·)表示正則項；ρ(·)和Γ(·)分別為

和

其中，i和j為正整數、?表示2范數的平方、γ為退火參數且0＜γ＜300；

正則化系數λ(·)的選取應該遵循這樣的原則：1)正則化系數λ(·)與數據殘差項ρ(·)成正比；2)正則化系數λ(·)與正則項Γ(·)成反比；3)正則化系數λ(·)非負；4)在邊緣和紋理點非光滑區域的像素點對應的正則化系數值小；根據正則化系數λ(·)的選取應該遵循這樣的原則，構造如下公式來確定正則化系數λ(·)

其中，0＜τ＜1、0＜δ＜20；

所述的高分辨率圖像的重建優化模型中加權因子w_k、模糊矩陣B以及降采樣矩陣D的確定，所述的w_k、B以及D的確定方法為：?

(a)加權因子w_k的確定：定義第k幀圖像所在的數據殘差項ρ(·)賦予的權值w_k為：

w_k＝w₁-a(H_k)|k-1|，1≤k≤K????????????????(10)

其中w₁表示參考幀圖像所在的數據殘差項ρ(·)賦予的權值、H_k表示重采樣的低分辨率圖像序列中第k幀圖像的熵值以及a(H_k)的表達式為

其中μ是一個正的實常數；

把式(11)代入式(10)中得

w₁和δ的最優值分別為0.5和0.2，則加權因子w_k表示為

(b)模糊矩陣B的確定

通過模糊核位移確定模糊矩陣B，模糊核為h＝(h₁，h₂，h₃)^T，其中h₁+h₂+h₃＝1，則

且所述h₁＝0.25、h₂＝0.5、h₃＝0.25；

(c)降采樣矩陣D的確定

降采樣矩陣D為：

對于i′＝1，2，...，N?

其中，N＝N₁N₂、N₁和N₂為正整數且分別為重采樣的每幀低分辨率圖像的圖像矩陣的行數和列數；

(2.3)利用逐漸非凸算法對高分辨率圖像的重建優化模型進行優化，得到高分辨率圖像的最優估計值，利用逐漸非凸算法進行優化的具體步驟如下：

步驟2.3.1：計算重采樣的圖像序列?的熵值；

步驟2.3.2：用三次線性插值法對熵值最高的低分辨率圖像進行插值，獲得高分辨率圖像的初始值?

步驟2.3.3：令取γ⁽⁰⁾＝2ρ，其中k′＝1，2，...，M-1，?表示高分辨率圖像的初始值?的第k′個分量，γ⁽⁰⁾表示退火參數的初始值且0＜γ⁽⁰⁾＜300；

步驟2.3.4：n″＝0；

步驟2.3.5：按以下公式求解第n″次迭代的正則項系數λ^(n″)：

步驟2.3.6：按進行迭代，估計高分辨率圖像?

其中

步驟2.3.7：令n″＝n″+1，γ^(n″)＝ηγ^(n″-1)，如果?轉至步驟2.3.5；否則，轉至步驟2.3.8；

步驟2.3.8：輸出超分辨率重建圖像?

其中，n″為非負正整數、0＜τ＜1，0＜η＜1，0＜δ＜20、γ^(n″)為第n″次迭代的退火參數、ε是一個大于零的迭代終止系數，β表示的迭代步長，并且η＝0.7，τ＝0.4，ε＝0.0001，β＝0.9以及δ＝5。?