[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110337413.9
• 申請(qǐng)日: 2021-03-30
• 公開(kāi)（公告）號(hào): CN112837224A
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 李鵬飛;李麗麗
• 申請(qǐng)（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 黑龍江立超同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 23217
• 代理人: 楊立超

一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建方法，屬于圖像處理技術(shù)領(lǐng)域，用以解決現(xiàn)有的超分辨率卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行速度慢、得到的圖像質(zhì)量不理想、圖像分辨率較低、訓(xùn)練網(wǎng)絡(luò)梯度易消失等問(wèn)題。本發(fā)明的技術(shù)要點(diǎn)包括：對(duì)現(xiàn)有超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，包括：使縮放圖像發(fā)生在模型后段進(jìn)行后上采樣操作；后上采樣為基于學(xué)習(xí)的上采樣?亞像素方法；加深了網(wǎng)絡(luò)層數(shù)，并在網(wǎng)絡(luò)中加入了殘差網(wǎng)絡(luò)；并進(jìn)一步將經(jīng)過(guò)上述改進(jìn)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型作為生成對(duì)抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)，并和對(duì)抗網(wǎng)絡(luò)相整合，進(jìn)一步提高圖像重建效率。本發(fā)明可廣泛應(yīng)用于超分辨率圖像重建研究領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建方法。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)已經(jīng)成為圖像識(shí)別和圖像分類領(lǐng)域的重要技術(shù)手段，且有著壯大的趨勢(shì)，所以應(yīng)用超分辨率卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，將模糊不清的圖片重建為高清的圖像技術(shù)的研究，對(duì)計(jì)算機(jī)的視覺(jué)發(fā)展及人工智能的發(fā)展都具有重要的價(jià)值和意義。使用計(jì)算機(jī)技術(shù)對(duì)圖片、視頻、語(yǔ)音等目標(biāo)進(jìn)行操作時(shí)，由于受限于電腦CPU、GPU等硬件條件的影響，當(dāng)我們想要更加高效、快速地獲得高質(zhì)量的目標(biāo)內(nèi)容時(shí)，只能退而求其次地對(duì)網(wǎng)絡(luò)結(jié)構(gòu)(例如：網(wǎng)絡(luò)模型的框架、上采樣方法、網(wǎng)絡(luò)設(shè)計(jì)等)進(jìn)行修改和整合，來(lái)盡可能地滿足我們的需求。

超分辨率圖像重建(Super Resolution Image Reconstruction,SRIR)是近年來(lái)計(jì)算機(jī)視覺(jué)處理和圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)，由于其應(yīng)用場(chǎng)景的廣泛和理論價(jià)值的實(shí)用，超分辨率圖像重建技術(shù)得到研究者更密切的關(guān)注。超分辨率圖像重建技術(shù)，在本質(zhì)上講是由一幅或多幅低分辨率(Low Resolution，LR)圖像經(jīng)過(guò)網(wǎng)絡(luò)模型的處理，最終生成具有良好視覺(jué)效果且更接近真實(shí)圖像的高分辨率(High Resolution，HR)圖像的技術(shù)。在該技術(shù)的日常應(yīng)用中，為了減緩由于傳送圖像、存儲(chǔ)圖像所造成的一系列圖像質(zhì)量問(wèn)題，一般對(duì)圖像采用下采樣的操作來(lái)降低圖像的質(zhì)量，但降質(zhì)操作具有不可逆轉(zhuǎn)性，因此該問(wèn)題是病態(tài)問(wèn)題。將低分辨率圖像重建為高分辨率圖像的關(guān)鍵是找到低分辨率和高分辨率圖像之間的逼近映射關(guān)系。

目前主流的超分辨率重構(gòu)技術(shù)可大致分為基于插值、基于重建和基于學(xué)習(xí)三類方法。其中基于插值的方法(例如最近鄰域插值和雙三次插值)，能夠簡(jiǎn)單且有效地增強(qiáng)圖像的分辨率，但會(huì)出現(xiàn)圖像部分邊緣模糊。而基于重建的方法能夠恢復(fù)簡(jiǎn)單圖像丟失的高頻信息，且該方法操作簡(jiǎn)單、工作量低，但該方法不能很好地處理結(jié)構(gòu)較復(fù)雜的圖像信息。基于學(xué)習(xí)的方法是近年來(lái)的主流方法，該類方法旨在通過(guò)對(duì)大量數(shù)據(jù)樣本的學(xué)習(xí)，建立低分辨率圖像和高分辨率圖像之間的逼近映射關(guān)系。其中，基于深度學(xué)習(xí)的超分辨率重建相比于只能由人工提取特征的傳統(tǒng)技術(shù)進(jìn)行的簡(jiǎn)單函數(shù)擬合的淺層卷積網(wǎng)絡(luò)學(xué)習(xí)來(lái)說(shuō)，深度學(xué)習(xí)可以自動(dòng)學(xué)習(xí)得到不同層次化的特征表示，實(shí)現(xiàn)更加復(fù)雜的非線性函數(shù)模型逼近，有更強(qiáng)的實(shí)用價(jià)值。因此，基于深度學(xué)習(xí)的算法在性能上超越了以前的很多經(jīng)典算法。但是現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建方法存在參數(shù)較多、計(jì)算量較大、訓(xùn)練時(shí)間較長(zhǎng)、圖像紋理模糊等問(wèn)題，難以有效獲得高質(zhì)量重建圖像。

發(fā)明內(nèi)容

鑒于以上問(wèn)題，本發(fā)明提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建方法，用以解決現(xiàn)有的超分辨率卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行速度慢、得到的圖像質(zhì)量不理想、圖像分辨率較低、訓(xùn)練網(wǎng)絡(luò)梯度易消失等問(wèn)題。

根據(jù)本發(fā)明一方面，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建方法，該方法包括以下步驟：

步驟一、獲取訓(xùn)練圖像數(shù)據(jù)集和測(cè)試圖像數(shù)據(jù)集；其中，所述圖像為低分辨率圖像；

步驟二、設(shè)定訓(xùn)練參數(shù)和內(nèi)容損失函數(shù)，構(gòu)建改進(jìn)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟三、使用所述訓(xùn)練圖像數(shù)據(jù)集作為所述改進(jìn)的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，調(diào)整所述訓(xùn)練參數(shù)直至所述內(nèi)容損失函數(shù)最小化，獲得訓(xùn)練好的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟四、將所述測(cè)試圖像數(shù)據(jù)集輸入訓(xùn)練好的超分辨率卷積神經(jīng)網(wǎng)絡(luò)模型，獲得高分辨率圖像。