[發明專利]一種基于幀間亞像素塊匹配的超分辨率重建方法

在審

• 申請號: 202211158384.0
• 申請日: 2022-09-22
• 公開（公告）號: CN115578255A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 張弘;孫運龍;袁丁;楊一帆;李旭亮;沈天琦
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;顧煒

1.一種基于幀間亞像素塊匹配的超分辨率重建方法，其特征在于：對于給定的彩色或灰度低分辨率圖像序列，通過融合多幀圖像的信息得到單張分辨率提高的彩色或灰度高分辨率重建圖像，包括以下步驟：

第一步，圖像預處理步驟：對輸入的多幀圖像進行灰度化和線性插值，得到初始估計高分辨率圖像序列，從圖像序列中確定基準圖像即基準幀和參考圖像即參考幀；

第二步，運動估計步驟：分為全局運動估計以及分塊運動估計，首先使用全局運動估計，基于基準圖像和參考圖像，估計參考圖像和基準圖像之間的幀間運動，得到參考圖像相對于基準圖像的全圖運動矢量；再使用分塊運動估計，在全圖運動估計的基礎上，將基準圖像劃分為像素塊，估計像素塊相對參考圖像的運動，得到參考圖像相對于基準圖像的塊運動矢量，得到局部更加細致的運動估計，通過全局運動估計以及分塊運動估計兩步得到圖像之間亞像素精度的運動矢量；

第三步，亞像素塊融合步驟：基于第二步得到的像素塊以及運動矢量，逐塊地將參考圖像中的圖像塊插值對齊到基準圖像中，實現亞像素精度的像素融合，得到初始估計高分辨率圖像；高分辨率是相對輸入圖像的分辨率而言，指其長寬分辨率擴大為輸入的s倍；

第四步，迭代去模糊步驟：以L2范數為保真項，雙邊全變分BTV作為正則項，對第三步得到的初始估計高分辨率圖像迭代去模糊去噪，得到最終的高分辨率圖像，從而完成超分辨率重建。

2.根據權利要求1所述的基于幀間亞像素塊匹配的超分辨率重建方法，其特征在于：所述第一步中，圖像預處理具體包括：

(1)灰度化

首先得到灰度化的低分辨率圖像序列L_k用于運動估計，低分辨率是指輸入分辨率的大小，輸入的分辨率相比于最終輸出的分辨率低；對于彩色圖像序列，將彩色圖像轉換至YCbCr顏色空間，取Y通道作為灰度信息，作為L_k；對于灰度圖像序列，直接作為L_k，1≤k≤N；

(2)線性插值

對低分辨率圖像序列L_k利用線性插值算法，映射至大小為[s*w,s*h]的高分辨率網格中，得到N張長寬分辨率均為輸入s倍的初始估計高分辨率圖像序列H_k，對于彩色圖像，應對Cb、Cr通道進行同樣的處理；

(3)選取基準圖像和參考圖像

以低分辨率序列L_k的中間幀作為基準圖像L_t，其余幀作為參考圖像L_k，t＝N/2，1≤k≤N,k≠t。

3.根據權利要求1所述的基于幀間亞像素塊匹配的超分辨率重建方法，其特征在于：所述第二步中，運動估計步驟包括：

(1)全局運動估計，基于低分辨率圖像序列L_k，估計全圖運動矢量；

利用L-K金字塔光流法，計算基準圖像L_t和各參考圖像之間的運動矢量得到全圖運動矢量；

(2)分塊運動估計，基于高分辨率圖像序列H_k，將基準圖像劃分為像素塊，估計塊運動矢量,具體為：

首先利用線性插值算法，以全局運動估計得到的全圖運動矢量將H_k重映射，得到對齊的高分辨率圖像序列

其次以一定步長p，將基準圖像劃分為K個大小為p*p的像素塊，對于每一個像素塊P_i，1≤i≤K，基于L-K稀疏光流法，計算像素塊相對參考圖像的亞像素級精確度運動參數,得到塊運動矢量1≤k≤N,k≠t。

4.根據權利要求1所述的基于幀間亞像素塊匹配的超分辨率重建方法，其特征在于：所述第三步中，亞像素塊融合具體為：

對于基準圖像中的每一個像素塊P_i，根據塊運動矢量利用線性插值，在參考圖像中的相應位置插值得到像素塊計算P_i以及所有像素塊的均值作為P_i的融合重建結果，所有的像素塊構成初始估計高分辨率圖像X。