[發明專利]一種基于幀間亞像素塊匹配的超分辨率重建方法

在審

• 申請號: 202211158384.0
• 申請日: 2022-09-22
• 公開（公告）號: CN115578255A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 張弘;孫運龍;袁丁;楊一帆;李旭亮;沈天琦
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;顧煒

本發明涉及一種基于幀間亞像素塊匹配的超分辨率重建方法，對于給定的彩色或灰度低分辨率圖像序列，通過融合多幀圖像的信息得到單張分辨率提高的彩色或灰度高分辨率重建圖像，本發明基于序列圖像幀間的信息差異，采用像素塊匹配的方式，對圖像序列進行亞像素運動估計以及相似特征融合，重建得到高分辨率圖像的估計，最后對得到的高分辨率圖像進行迭代去模糊去噪，實現了圖像的分辨率的有效提高。

技術領域

本發明涉及一種基于幀間亞像素塊匹配的超分辨率重建方法，用于圖像分辨率放大領域。

背景技術

分辨率是評價圖像質量的重要指標之一，較高分辨率的圖像，意味著能提供更豐富的細節信息，具有更好的視覺效果和圖像質量。但在現實中，由于成像系統硬件條件的限制、再加上噪聲、聚焦偏離等因素的影響，獲得的圖像往往分辨率低下、不能滿足實際應用需求，且存在噪聲、模糊等現象。圖像超分辨率重建，能利用現有的設備，采用信號處理技術，對已獲得的圖像和視頻進行處理以提高其空間分辨率，在遙感、消費電子、生物醫學、視頻監控、機器視覺、軍事等領域具有廣闊的應用前景。

根據使用的源圖像數量，圖像超分辨率重建可分為單幀圖像超分辨和多幀圖像超分辨。多幀圖像的超分辨率重建技術是對單幀重建技術的擴展。重建過程中的輸入圖像不再局限于單幀的圖像，而是一組具有亞像素位移的低分辨率圖像序列。多幀重建不僅引入了圖像外部樣例的先驗知識，同時多幀重建需要考慮圖像之間的時間-空間相關性，并將其作為重建的先驗知識，進一步提高重建圖像的準確度和圖像的主觀視覺效果。

目前的多幀重建算法主要可分為三類：基于插值的超分辨率重建法、基于重建約束的超分辨率重建法和基于學習的超分辨率重建法。

基于插值的超分辨率重建以輸入序列中的一幀圖像作為參考圖像，對其余的輸入圖像進行運動估計，也叫配準。根據估計的圖像運動參數將低分辨率圖像映射到高分辨率圖像空間的網格中，此時低分辨率圖像內的所有像素將會以一種非均勻的方式分布，對這些非均勻分布的圖像像素點進行內插，從而推測出所有高分辨率網格上的整點像素。

基于重建約束的重建算法將先驗知識作為重建問題的約束條件，從而將重建問題轉換為數值估計問題，經過不斷的迭代修正重建的高分辨率圖像，直至輸出理想的高分辨率。基于重建約束重建法對建立的圖像退化模型以及引入的先驗知識具有很強的依賴性，因此精確的退化模型與完善的先驗知識是約束重建法獲取高精度高分辨率圖像的前提。

基于學習的超分辨率重建法旨在建立一個高分辨率圖像和低分辨率序列之間的降質映射關系，如查找表、訓練得到的插值核等。深度學習大量應用之前，典型方法包括鄰域嵌入、稀疏字典等等。基于學習的重建方法依賴于豐富的訓練數據以及訓練策略，實際應用時魯棒性往往欠佳。

多幀重建算法一般包括圖像配準(或運動估計)與融合重建兩個主要步驟，通過圖像配準(或運動估計)實現對不同幀之間相關信息的挖掘，以便后續的融合重建。

常用的運動估計方法為稠密光流法，但是稠密光流法計算量較大，在計算資源受限的平臺如嵌入式平臺較難實現快速處理。另一些已有的方法在圖像配準時，假設圖像僅存在水平以及垂直位移，這樣僅對圖像進行全局的運動估計，無法處理局部的擾動。

基于深度學習的圖像超分辨率技術通過對低分辨率圖像進行特征提取，以產生高分辨率圖像。典型方法有ESPCN、EDSR超分辨率重建網絡算法等。實際應用時，容易受限于真實場景與數據集的差異，面臨著魯棒性不佳的問題，同時，基于深度學習的方法依賴于GPU等專用計算核心，在CPU平臺上速度不佳。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提供一種基于幀間亞像素塊匹配的超分辨率重建方法，能夠有效融合多幀的亞像素信息，得到一張細節豐富的高分辨率圖像，同時計算簡單，可應用于嵌入式平臺。