[發明專利]基于稀疏編碼與組合映射的單幀超分辨率重建方法

有效

• 申請號: 201710475747.6
• 申請日: 2017-06-21
• 公開（公告）號: CN107341776B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 任坤;楊玉清;孟麗莎;孫光民;王普
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明公開一種基于稀疏編碼與組合映射的單幀超分辨率重建方法，包括：對初始高分辨訓練集圖像處理得到擴充后的高分辨率特征塊樣本和插值后的中高分辨率特征塊樣本；訓練已獲得的特征樣本，得到字典原子作為聚類中心，以此中心對樣本進行聚類；根據不同分辨率之間的對應關系求取每個聚類的映射矩陣；依據訓練集的低分辨率圖像處理方式，處理輸入的低分辨率測試圖像，由訓練得到的字典原子求取其稀疏系數；將稀疏系數作為權重，以聚類中求得的每一個映射矩陣為一個組合元素，匹配組合得到重建圖像所需要的映射關系，以此映射矩陣直接與插值中高分辨率特征塊相乘得到高分辨率特征塊；并進行去重疊和塊融合，添加原低頻信息后得到重建高分辨率圖像。

技術領域

本發明屬于圖像處理領域，具體涉及一種基于稀疏編碼與組合映射的單幀超分辨率重建方法。

背景技術

隨著現代各種圖像視頻設備的廣泛普及各種移動設備的頻繁使用，對圖像能夠快速傳輸并能以高質量形式展現提出了挑戰。目前為獲取更加清晰的高分辨率圖像，直接方法是應用分辨率更高的光學相機，但這種方法不僅受硬件設備制造工藝的限制，還存在成本高、存儲占用空間大、傳輸耗時等弊端。而在軟件方面，普遍采用插值的方法獲得高分辨率圖像，雖然能適量提高圖像的空間分辨率，但受限于擴展倍數，清晰度不高，無法準確表現圖像細節信息。隨著機器學習研究的深入提出了多種基于學習的超分辨率重建方法，但在重建速度和重建質量上還有待提升。

提出了一種在訓練階段通過稀疏基學習建立高分辨率與低分辨率樣本集之間的映射函數關系，在測試階段通過組合基于簡單函數的映射關系快速重建高分辨率圖像的方法。本方法彌補現流行方法在重建質量與重建速度無法權衡的缺陷。本方法在訓練階段將字典訓練與聚類相結合，建立以字典原子為中心的不同分辨率對應特征類之間的映射模型，結合誤差約束，通過凸優化方法確定不同分辨率特征對的最佳映射矩陣；在測試階段以測試特征稀疏編碼為系數將相關映射矩陣線性組合進行快速高質量的重構。

發明內容

本發明所要解決的技術問題是針對現有基于學習訓練的超分辨重建方法中重建圖像質量依賴于大訓練集，重建速度較慢的問題，提出了一種能夠充分利用適當大訓練集信息，重建速度較快，重建圖像清晰度更高的超分辨率重建方法。

為實現上述目的，本發明采用如下的技術方案：

一種基于稀疏編碼與組合映射的單幀超分辨率重建方法，包括以下步驟：

步驟1、訓練階段數據準備。對高分辨率訓練集圖像進行降質處理生成對應的低分辨率訓練圖像。為保證數據大小的一致性，對低分辨率圖像進行雙三次插值，生成具有相同空間分辨率但細節信息缺失的中高分辨率圖像。對中高分辨率圖像一階和二階梯度特征進行分塊處理得到低分辨率特征數據集。同時，對高分辨率圖像提取高頻特征進行分塊得到對應高分辨率特征數據集。為了獲得更豐富的特征數據，可對特征塊應用旋轉算子擴充；

步驟2、計算高-低分辨率特征對的最佳映射矩陣。首先，對步驟1已獲得的低分辨率特征樣本應用主成分分析法PCA降維。其次，對高-低分辨率特征樣本對進行聯合字典學習得到聯合字典。然后，分別以高分辨率和低分辨率字典原子作為聚類中心，對特征樣本進行聚類，求取高-低分辨率對應類的映射矩陣，并通過迭代改變聚類大小，求得滿足誤差約束的映射矩陣；

步驟3、測試圖像的稀疏編碼。對輸入的低分辨率測試圖像雙三次插值后，提取一階和二階梯度特征并分塊，得到測試特征塊。基于步驟2訓練得到的低分辨率字典對測試特征塊進行稀疏編碼，得到其稀疏系數；

步驟4、基于稀疏系數組合映射重建。以步驟3得到的稀疏系數為權重，將對應原子所屬類的映射矩陣進行線性組合，得到測試特征的映射矩陣。基于該映射矩陣直接重建高分辨率特征塊。融合重建高分辨率特征塊，添加低頻信息實現測試圖像的高分辨率重建。

作為優選，步驟2所述的通過一原子為中心的聚類，求取不同分辨率圖像之間的映射關系，具體如下：