[發明專利]一種基于超像素和卷積神經網絡的圖像超分辨方法

有效

• 申請號: 201910053628.0
• 申請日: 2019-01-21
• 公開（公告）號: CN109785236B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李現;陳帥印;王敏杰;徐剛;肖江劍
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所;中國科學院大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王茹;王鋒

本發明公開了一種基于超像素和卷積神經網絡的圖像超分辨方法，其包括：輸入圖像；對圖像依次進行超像素塊特征提取、超像素特征映射和超像素特征重建，獲得重建后的超像素特征；對圖像依次進行淺層特征提取、深層特征提取和特征融合，獲得降維后的特征；將所述重建后的超像素特征與所述降維后的特征進行特征融合，獲得融合特征；采用尺度調整模塊對所述融合特征進行提升，獲得提升尺度的特征圖；以及通過重建模塊對所述提升尺度的特征圖進行重建，得到超分辨重建的結果并輸出。本發明可獲得超分辨處理后具有更加逼真的紋理細節和逼真的紋理噪聲的圖像，實現快速高效的網絡模型并提高重建的魯棒性，使重建的圖像更加逼真于現實圖像。

技術領域

本發明涉及一種圖像超分辨方法，特別涉及一種基于超像素和卷積神經網絡的圖像超分辨方法，屬于圖像處理技術領域。

背景技術

利用現有的計算機計算平臺和算法軟件開發工具對單幅圖像進行超分辨復原，可以對低分辨的圖像進行超分辨處理得到高分辨圖像。從一幅低分辨率圖像中得到一幅高分辨圖像是計算機視覺的經典問題之一，在成像過程中，由于很多原因(相機感光條件、不同的光照、相機的抖動等)圖像會丟失細節和高頻組件。圖像的超分辨嘗試恢復圖像丟失的細節數據并最大限度的減少圖像的模糊和混疊。圖像超分辨方法用于許多計算機視覺和圖像處理應用程序中。隨著計算機的精度和計算能力的發展，基于軟件算法的超分辨方法得到廣泛關注。超分辨主要應用在車牌的檢測和識別、人臉檢測、自動目標識別、遙感衛星和醫療圖像處理、視頻轉換傳輸、、圖像增強、衛星圖像處理、天文圖像處理、顯微圖像處理、圖像拼接等監控檢測和圖像處理領域。

圖像的超分辨是基于圖像空間的紋理特征信息、顏色特征信息、幾何特征信息、統計特征信息對低分辨的空間信息進行復原，從低分辨的圖像中恢復出高分辨圖像，目前的圖像超分辨主要方法有基于插值的、基于機器學習和深度學習的方法，目前主要的深度學習的方法有SRCNN、SRGAN、VDSR、DRCN等。

這些方法在計算機視覺和圖像處理中的廣泛應用，基于插值的方法采用領域采樣點進行加權平均來估算待求點的值，該方法簡單，速度快，但對于高頻紋理細節的處理不理想。基于重構的方法基本都是先構建圖像的降質模型，通過估計的方法求解并優化超分辨的重建結果。效果的提升的水平受到限制。最近，應用最多的是深度卷積神經網絡解決圖像超分辨。可以在高分辨圖像和低分辨圖像之間建立端到端的卷積神經網絡模型，此模型可以對輸入的一幅低分辨圖像進行超分辨處理輸出一幅高分辨圖像。例如從2014年的Donget al.等人第一次提出SRCNN模型，用卷積神經網絡方法實現對圖像進行超分辨率處理，通過研究人員對卷積神經網和深度學習的不斷研究加深網絡的深度和寬度的同時，提高了深度網絡處理計算機視覺任務的能力，2016年VDSR通過引入殘差網絡學習高分辨和低分辨之間的高頻部分來提升圖像的超分辨效果。2017年的SGAN通過引入生成對抗網絡來對高分辨圖像進行生成，通過生成器和判別器訓練出生成圖像高頻細節的端到端的圖像超分辨網絡模型。這些卷積神經網絡的算法，在一定程度上提高了對低分辨圖像進行超分辨處理的效果。但是，隨著網絡的深度不斷加深，深度卷積神經網絡的消耗比較大的計算資源，造成一定的網絡模型訓練困難。目前的方法中，簡單的堆疊殘差塊加深網絡很難獲得更好的改進。是否通過構建非常深的網絡提高圖像超分辨，是業界研發人員的一個方向。

深度的卷積神經網絡在處理圖像的區域特征中，對于不同的信息特征缺乏靈活性。圖像超分辨過程是一個本領域研發人員試圖恢復盡可能多的高頻信息的紋理信息，但是現階段很難對于真實的紋理噪聲恢復，使圖像看上去更加逼真于真實的圖像。

發明內容

針對單幅圖像的超分辨，本發明的主要目的在于一種基于超像素和卷積神經網絡的圖像超分辨方法，以克服現有技術的不足。

為實現前述發明目的，本發明實施例提供了一種基于超像素和卷積神經網絡的圖像超分辨方法，其包括：

輸入圖像；

對圖像依次進行超像素塊特征提取、超像素特征映射和超像素特征重建，獲得重建后的超像素特征；