[發明專利]一種基于多級字典學習的殘差實例回歸超分辨重建方法

有效

• 申請號: 201810320484.6
• 申請日: 2018-03-30
• 公開（公告）號: CN108550111B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 張凱兵;王珍;閆亞娣;劉秀平;景軍鋒;蘇澤斌;朱丹妮;李敏奇
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 西安合創非凡知識產權代理事務所(普通合伙) 61248
• 代理人: 楊蕾

1.一種基于多級字典學習的殘差實例回歸超分辨重建方法，包括如下步驟：

S1、采集高分辨自然圖像，模擬圖像降質過程，生成低分辨圖像，對低分辨圖像使用雙立方插值進行3倍放大，得到插值圖像；對插值圖像和原始高分辨圖像，分別提取大小為9×9的低分辨特征塊和對應大小9×9為的高分辨特征塊；分別隨機選擇低分辨圖像塊和對應的高分辨圖像塊，構造低分辨圖像塊訓練集和高分辨圖像塊的高頻細節訓練集，其中，表示第i個低分辨圖像塊特征向量，表示第i個高分辨圖像塊特征向量，N表示訓練集中樣本總個數；表示用于第t次迭代的低分辨特征集，表示用于第t次迭代的高分辨特征集，特別地，，；

S2、將低分辨特征訓練集利用K-SVD字典學習算法學習得到一個低分辨字典，其中，表示第t輪得到的低分辨字典，表示字典中的第i個字典原子；表示所選錨點在低分辨特征訓練集上的K個最近鄰所構成的子集，表示所選錨點在高分辨訓練集上的K個最近鄰構成的子集， M表示低分辨字典原子的個數，K表示歐式距離約束的最相關的特征塊，M=1024，K=2048；

S3、利用低分辨圖像塊特征與高分辨圖像塊特征間的共現表示關系，建立K個低分辨與高分辨特征空間之間的線性映射關系，式中，是一個用于調節奇點問題和穩定性解的可調參數，這里，表示單位矩陣；

S4、利用得到的線性映射關系與對應的低分辨特征子集，重建出對應的高分辨特征子集，獲得重建誤差；

S5、把重建的高分辨特征用作下一次迭代的低分辨特征訓練集，重復步驟S2- S5，獲得的重建誤差用作下一次迭代的高分辨特征集;經過T次迭代得到一組線性映射關系，；

S6、輸入待處理的低分辨彩色圖像，并將圖像從紅、綠、藍的RGB顏色空間轉換到YCbCr顏色空間，其中，Y表示亮度分量，兩個色差分量Cb和Cr表示顏色信息；

S7、對YCbCr顏色空間中的亮度分量使用雙立方插值進行3倍放大，得到插值圖像；

S8、將插值圖像自上而下、從左到右劃分成大小為9×9的圖像塊，使相鄰塊之間重疊2個像素，提取該圖像的塊特征，構成低分辨圖像塊測試集，其中表示低分辨圖像塊測試集中的第j個特征向量，S表示該測試集中樣本總個數；

S9、 對低分辨圖像塊測試集中每個特征向量，在錨點集中查找與最匹配的錨點,使用對應的特征映射關系矩陣計算高分辨圖塊特征，低分辨圖像塊測試集中所有特征向量的高分辨圖像塊估計構成了預測結果集；

S10、將構成的預測結果集作為當前高分辨圖像塊輸出的同時，用作下一層的測試集，再估計預測集，最后得到一組估計的預測結果集；按照對應順序將估計的預測結果集做加和處理；

S11、 按插值圖像中圖像塊的劃分順序合并所有預測結果集，對重疊區域的像素取平均值進行融合，得到高分辨圖像；

S12、 對輸入的低分辨彩色圖像在YCbCr顏色空間中的兩個色差分量Cb和Cr直接采用雙立方插值進行3倍放大，并組合亮度分量Y的超分辨估計，將YCbCr顏色空間的超分辨結果轉換到RGB顏色空間，得到輸入的低分辨圖像被放大了3倍的RGB圖像。

2.如權利要求1所述的一種基于多級字典學習的殘差實例回歸超分辨重建方法，其特征在于，所述步驟S5包括如下步驟：

S51、 對接下來的第t+1次迭代，將第t次迭代估計得到的高分辨輸出用于更新t+1次的低分辨輸入：

式中，表示第t次估計得到的第i個高分辨特征，表示將用于第t+1次迭代的第i個低分辨輸入特征；將更新后的特征塊反饋到步驟S2中，循環執行;

S52、對接下來的第t+1次迭代，將第t次迭代得到的殘差，用于更新t+1次的高分辨特征，用于回歸：

式中，表示第t次迭代得到的第i個高分辨特征的估計誤差，即殘差，表示將用于第t+1次迭代的第i個高分辨特征；將更新后的特征塊反饋到步驟S2中，循環執行，直至T次全部結束。

3.如權利要求1所述的一種基于多級字典學習的殘差實例回歸超分辨重建方法，其特征在于，所述步驟S10通過以下步驟進行估計的預測結果集的加和處理：

S101、對接下來的第t+1次迭代，將第t次迭代估計得到的高分辨輸出用于第t+1次的低分辨輸入的同時，作為第t次的估計輸出：

式中，表示第t次迭代得到的高分辨特征，表示將用于第t+1次重建的低分辨特征；

S102、將得到的T個特征向量，即估計的細節特征，加到插值后的低分辨圖像中：

式中，表示經過插值的低分辨測試圖像，表示第t次重建出的高頻細節。