[發明專利]一種關注前景信息的圖像超分辨率重建方法

有效

• 申請號: 202210035833.6
• 申請日: 2022-01-13
• 公開（公告）號: CN114049261B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 何凡;彭麗薇;鄧靖凜;吳家俊;程艷芬;李辰皓
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 劉琳

本發明公開了一種關注前景信息的圖像超分辨率重建方法，通過PAM模塊提取圖像的前景信息和高頻特征，使用門控網絡提取通道域注意力和空間域注意力權重系數，配合非均勻聯合損失在反向傳播過程中動態修改二者權重。進一步提出PAMNet，在PAMNet中串聯多個PAM模塊，同時引入跳躍連接，充分利用圖像淺層特征，通過設計的網絡進行訓練，完成超分辨圖像的重建。本發明不僅能夠專注圖像前景信息和鑒別特征提取，同時保留圖像的色彩和紋理特征，提高淺層利用率；本發明能夠減少參數量的同時擁有較好的客觀評分；本發明在性能和模型復雜度間取得了良好的平衡，PAM模塊具有通用性，可以嵌入多類網絡結構中。

技術領域

本發明涉及圖像處理與識別方法技術領域，具體地指一種關注前景信息的圖像超分辨率重建方法。

背景技術

圖像超分辨重建(Super-Resolution，SR)是一種利用低分辨率圖像恢復得到高分辨率圖像的圖像處理技術。SR技術旨在不改變物理成像設備的限制下，通過信號處理和軟件方法提高圖像分辨率，SR不僅有重要的學術研究價值，并且在很多領域得到了實際應用，如醫學成像、視頻安全監控、遙感圖像處理等。SR技術除了能夠提升圖像質量，也可以改善許多計算機視覺任務，提高圖像分辨率以獲得高質量圖像已成為研究界迫切需要解決的問題。

單幅圖像超分辨重建(Single Image Super-Resolution，SISR)是圖像超分辨重建領域的研究熱點。SISR僅利用單個低分辨率圖像為輸入，重建具有豐富圖像細節和清晰紋理的高分辨率(High Resolution，HR)圖像，實用價值很高。SISR算法主要分為三類：基于插值的方法、基于重建的方法、基于學習的方法。基于插值的方法如雙三次插值等會大量丟失圖像細節，重建后的圖像嚴重失真，清晰度低。基于重建的方法如鄰域嵌入法、稀疏表示法等采用傳統機器學習算法得到的模型，重建圖片質量相對較高，但可擴展性較差。隨著深度學習和生成對抗網絡的發展，基于學習的方法不斷涌現新的新型網絡，在提高圖像細節和紋理特征方面表現出不錯的性能，重建生成的HR圖像更為逼真，圖像超分辨率取得了較大的進步。

殘差網絡使用殘差學習，在網絡設計中使用了跳過連接方式進行殘差單元中的直接映射，基于殘差學習的深度模型VDSR通過引入殘差結構提升模型性能，但存在訓練參數量大、重建圖像背景不清晰等問題。EDSR去除了BN層，通過減小BN層的內存消耗以堆疊更多的層提升重建圖像的質量，但由于僅使用L1損失進行訓練，重建圖像的客觀指標較低。

目前，圖像處理的超分辨率任務依舊存在未充分利用圖像淺層特征、圖像前景不突出、缺乏視覺重點等問題。

發明內容

針對上述圖像處理中超分辨率任務依舊存在未充分利用圖像淺層特征、圖像前景不突出、缺乏視覺重點的問題，本發明提出一種關注前景信息的圖像超分辨率重建方法，關注圖像前景信息和細節特征的同時降低訓練參數量，提高了圖像淺層特征利用率和模型性能，極大提高了圖像超分辨率的視覺質量。

為實現上述目的，本發明所設計的一種關注前景信息的圖像超分辨率重建方法，所述方法包括以下步驟：

1）獲取待訓練圖像，對圖像數據預處理，得到特征圖X?R^C×H×W，R^C×H×W表示圖像的參數，R表示實數集，C表示通道數，H、W表示圖像大小；

2）對所述特征圖X?R^C×H×W進行特征提取，得到特征輸出圖S_LF?R^C×H×W；

3）基于所述特征輸出圖S_LF?R^C×H×W的圖像特征進行圖像重建；

4）采用損失函數對所示重建圖像進行訓練，得到超分辨率圖像SR；

其特殊之處在于，所述步驟2）的具體步驟包括：