[發(fā)明專(zhuān)利]基于三通道卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010523197.2
• 申請(qǐng)日: 2020-06-10
• 公開(kāi)（公告）號(hào): CN111640067B
• 公開(kāi)（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 陳劍濤;黃德天
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華僑大學(xué)
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06N3/04;G06V10/774;G06V10/82
• 代理公司: 泉州市文華專(zhuān)利代理有限公司 35205
• 代理人: 陳雪瑩

本發(fā)明提供了圖像處理領(lǐng)域的一種基于三通道卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像超分辨率重建方法，包括如下步驟：步驟S10、獲取圖像的數(shù)據(jù)集，并基于所述數(shù)據(jù)集創(chuàng)建復(fù)數(shù)張高分辨率圖像以及高分辨率圖像所對(duì)應(yīng)的低分辨率圖像；步驟S20、創(chuàng)建三通道卷積神經(jīng)網(wǎng)絡(luò)模型，并利用所述三通道卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)各高分辨率圖像和低分辨率圖像進(jìn)行訓(xùn)練，并生成低分辨率圖像與高分辨率圖像的映射關(guān)系；步驟S30、利用均方誤差損失函數(shù)對(duì)所述映射關(guān)系進(jìn)行優(yōu)化；步驟S40、基于優(yōu)化后的所述映射關(guān)系，將待重建的低分辨率圖像輸入所述三通道卷積神經(jīng)網(wǎng)絡(luò)模型，輸出重建后的高分辨率圖像。本發(fā)明的優(yōu)點(diǎn)在于：實(shí)現(xiàn)不增加網(wǎng)絡(luò)深度和模型參數(shù)的前提下，極大的提升了重建圖像的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別指一種基于三通道卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像超分辨率重建方法。

背景技術(shù)

圖像是傳遞信息最為方便和快捷的載體之一，具有信息量大、直觀、可保存的特點(diǎn)，因此在醫(yī)學(xué)、公共安全、遙感、國(guó)防等領(lǐng)域被廣泛應(yīng)用。但是由于成像設(shè)備和環(huán)境因素的限制，降低了獲取圖像的質(zhì)量，不利于信息傳遞的準(zhǔn)確性和完整性，所以如何提升圖像質(zhì)量顯得很重要。圖像分辨率是衡量圖像質(zhì)量的重要指標(biāo)，從主觀視覺(jué)上表現(xiàn)為圖像邊緣、紋理細(xì)節(jié)的清晰和豐富程度；客觀上表現(xiàn)為圖像總像素量，或者說(shuō)是單位面積內(nèi)的像素密度。由于更高分辨率的圖像包含更多的有用信息，因此越來(lái)越多的圖像應(yīng)用中，都期望獲得高分辨率的圖像。

在圖像成像系統(tǒng)中，決定圖像分辨率的核心是圖像傳感器。傳感器主要是由感光元器件排列構(gòu)成，將光學(xué)場(chǎng)景轉(zhuǎn)化為電信號(hào)，并形成最終獲取的圖像。提高圖像分辨的方法，有以下兩種方式：其一是增加圖像傳感器的尺寸，減少圖像傳感器中感光元件大小，進(jìn)而增加單位面積上感光元件的密度；其二是對(duì)成像系統(tǒng)獲取的圖像進(jìn)行處理，通過(guò)計(jì)算機(jī)提升圖像分辨率，也被稱(chēng)為圖像超分辨率(Super-Resolution,SR)重建。

基于插值的超分辨率重建方法是提高圖像分辨率最簡(jiǎn)單的方法。該方法假設(shè)圖像結(jié)構(gòu)是分片平滑的，并使用一個(gè)基函數(shù)或者插值核函數(shù)來(lái)逼近，通過(guò)離散采樣得到的數(shù)字圖像的連續(xù)函數(shù)實(shí)現(xiàn)圖像放大。常見(jiàn)的插值方法包括最鄰近插值、雙線性插值以及雙立方插值等。這些插值方法具有重建速度快、處理效率高且性能相對(duì)穩(wěn)定的優(yōu)點(diǎn)，特別是Keys在1981年提出的雙立方插值方法，至今仍被廣泛應(yīng)用于各種圖像處理軟件、數(shù)碼相機(jī)、打印機(jī)驅(qū)動(dòng)等領(lǐng)域。

基于重建的超分辨率重建方法引入先驗(yàn)信息來(lái)約束圖像的重建模型，指導(dǎo)求解成像過(guò)程的逆過(guò)程，以重建降質(zhì)過(guò)程中丟失的高頻信息?；谥亟ǖ某直媛手亟ǚ椒ǚ譃轭l域法和空域法，頻域法第一次由Huang在1984年提出，利用多幀低分辨率圖像序列通過(guò)傅里葉變換重建高分辨率圖像；Kim等人改進(jìn)了Huang的方法，利用低分辨率的圖像幀和參考圖像之間的混疊關(guān)系，提出基于加權(quán)遞歸最小二乘理論的頻域重建方法；Woods等人在頻域中實(shí)現(xiàn)了基于迭代期望最大化的貝葉斯公式和最大后驗(yàn)公式，有效地利用存在模糊和噪聲的低分辨率圖像序列重建出高分辨率圖像。

由于受到全局平移運(yùn)動(dòng)和線性不變退化模型的限制，不能充分利用空域的先驗(yàn)知識(shí)，導(dǎo)致應(yīng)用場(chǎng)合比較單一。因此，學(xué)者們開(kāi)始將研究重點(diǎn)轉(zhuǎn)向空域法。空域法的觀測(cè)模型包含了光學(xué)運(yùn)動(dòng)模糊、全局或局部運(yùn)動(dòng)、點(diǎn)擴(kuò)散函數(shù)、非理想采樣等多種模型，適用范圍較為廣泛。經(jīng)典的空域法包括：非均勻插值法、迭代反向投影法、凸集投影法、最大后驗(yàn)概率法、混合MAP/POCS法。

隨著機(jī)器學(xué)習(xí)的不斷深入，學(xué)者們開(kāi)始嘗試將機(jī)器學(xué)習(xí)模型應(yīng)用到圖像超分辨率重建中，提出了一系列基于機(jī)器學(xué)習(xí)的超分辨率重建方法，基本原理是先構(gòu)建高/低分辨率圖像樣本庫(kù)，然后利用機(jī)器學(xué)習(xí)高/低分辨率樣本之間的映射關(guān)系，進(jìn)而指導(dǎo)高分辨率圖像的重建?；跈C(jī)器學(xué)習(xí)的超分辨率重建方法分為：基于馬爾可夫網(wǎng)絡(luò)的超分辨率重建方法、基于領(lǐng)域嵌入的超分辨率重建方法、基于稀疏表示的方法、基于回歸的方法、基于深度學(xué)習(xí)的方法。