[發明專利]提高圖像分辨率的方法、系統、裝置及存儲介質

在審

• 申請號: 202110884842.8
• 申請日: 2021-08-03
• 公開（公告）號: CN113658044A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 王進;吳一鳴;何施茗;陳澤宇;王柳
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 長沙楚為知識產權代理事務所(普通合伙) 43217
• 代理人: 李大為

本發明公開了一種提高圖像分辨率的方法，所述方法包括：獲取低分辨率圖像的特征信息并進行卷積操作得到淺層特征信息；將所述淺層特征信息和反饋特征信息進行增強信息多重蒸餾模塊(EIMDB)得到中層特征信息；將所述中層特征信息進行信息多重蒸餾模塊(IMDB)得到深層特征信息；根據所述淺層特征信息、中層特征信息和所述深層特征信息得到所述反饋特征信息；根據所述中層特征信息、深層特征信息和所述低分辨率圖像的特征信息得到低分辨率圖像重建后的超分辨率圖片信息。本發明還公開一種提高圖像分辨率的系統、裝置及存儲介質。本發明旨在提高低分辨率圖片的重建效果的同時進一步減少參數量和計算量。

技術領域

本發明涉及單圖像超分辨率領域，尤其涉及一種提高圖像分辨率的方法、系統、裝置及存儲介質。

背景技術

圖片是記錄人們生活和歷史場景重現的重要載體，特別是在交通流量預測、遙感以及刑偵取證等城市治理方面擁有非常多的圖像數據。隨著高分辨率的顯示設備的涌現，低分辨率的圖片無法在高分辨率設備上獲得良好的視覺效果。單圖像超分辨率(SingleImage Super-Resolution，SISR)重建算法目的是將低分辨率圖片通過一系列算法恢復成視覺效果良好的高分辨率圖像。實際上，單圖像超分辨率屬于不適定的算法問題，即對于任意的低分辨率圖像，都有可能存在無數的高分辨率圖像與之對應。單圖像超分辨率技術不僅能夠從清晰度較低的圖片中恢復清晰度，而且由于超分辨率方法是對所拍攝的照片進行處理，能夠節約更換或升級攝像頭元器件的成本。現有技術缺點①：大型超分辨率網絡參數量和計算量高；現有技術缺點②：輕量級超分辨率算法降低了超分辨率重建效果。

針對現有技術缺點①提出的改進，由Dong等人提出的基于卷積神經網絡的超分辨率重建網絡(SRCNN，Super-Resolution Convolution Neural Network) 首次將三層卷積神經網絡應用于圖像超分辨率領域，并取得了比傳統方法更好的效果。由Kim等人提出的基于深度遞歸卷積的神經網絡(DRCN，Deep Recursive Convolution Network)將遞歸神經網絡應用于超分辨率，在不增加網絡參數量的情況下使得特征提取部分通過循環結構重復學習。然而早期基于深度學習的超分辨率將圖像放大后直接輸入進網絡，這導致特征映射較大，增加了網絡的參數量和計算量。由Dong等人提出的加速超分辨率卷積神經網絡(FSRCNN，,Faster Super-Resolution Convolution Neural Network)和由Shi 等人提出的亞像素卷積神經網絡(ESPCN，Enhance Sub-Pixel Convolution Network)分別采用了反卷積和亞像素卷積的方法，低分辨率圖像直接通過網絡進行特征提取，減少了由于特征映射放大導致的計算量增加。但是，為了提高超分辨率重建的效果，通常會加深網絡結構。即便是使用了反卷積或亞像素卷積的重建方法，網絡的計算量與參數量還是不可避免的增加。

針對現有技術缺點②提出的改進，由Ahn等人提出的瀑布殘差網絡CARN(Cascading Residual Network)使用瀑布級聯的方式，雖然在擁有少量參數量的同時增加了卷積層之間的信息交互，但是增加的級聯操作大幅提高了計算量，由Hui等人提出的信息蒸餾網絡(IDN，Information Distillation Network) 將特征提取模塊分成信息增強單元和壓縮單元，分別將特征進行提取和去除特征中冗余信息。但是網絡大部分都是前饋傳播，特征信息缺少相互學習，導致重建效果一般。因此，亟需采用一種提高圖像超分辨率重建效果的同時，還可以進一步減少參數量和計算量的圖像處理方法。

發明內容

本發明的主要目的在于提供一種提高圖像分辨率的方法、系統、裝置及存儲介質，旨在解決現有的低分辨率圖片利用單圖像超分辨率技術無法保障在提高分辨率重建效果的同時進一步減少參數量和計算量的技術問題。

為實現上述目的，本發明提供一種提高圖像分辨率的方法，所述方法包括以下步驟：

獲取低分辨率圖像的特征信息并進行卷積操作得到淺層特征信息；