[發(fā)明專利]基于稀疏自編碼網(wǎng)絡(luò)與極速學(xué)習(xí)的圖像超分辨重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710589217.4
• 申請(qǐng)日: 2017-07-19
• 公開(kāi)（公告）號(hào): CN107392855B
• 公開(kāi)（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 王敏;王勇
• 申請(qǐng)（專利權(quán)）人: 蘇州聞捷傳感技術(shù)有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06K9/62
• 代理公司: 蘇州翔遠(yuǎn)專利代理事務(wù)所(普通合伙) 32251
• 代理人: 劉計(jì)成

本發(fā)明公開(kāi)了一種基于稀疏自編碼網(wǎng)絡(luò)與極速學(xué)習(xí)的圖像超分辨重建方法，解決了特征提取不準(zhǔn)確及特征提取與重建步驟獨(dú)自進(jìn)行而導(dǎo)致恢復(fù)不準(zhǔn)確的問(wèn)題。主要步驟為：輸入低分辨率測(cè)試圖像，對(duì)輸入的低分辨率測(cè)試圖像通過(guò)重疊的方式進(jìn)行分塊，構(gòu)造低分辨率測(cè)試圖像塊；對(duì)于每一個(gè)低分辨率圖像塊經(jīng)過(guò)層級(jí)的稀疏自編碼器提取稀疏特征；將稀疏特征通過(guò)預(yù)先學(xué)習(xí)得到的極速學(xué)習(xí)機(jī)投影到高分辨率像素空間得到高分辨率圖像塊；最后將高分辨率圖像塊聚合得到最終的高分辨率圖像，完成圖像超分辨率重建。本發(fā)明采用多層稀疏自編碼網(wǎng)絡(luò)學(xué)習(xí)稀疏特征，將特征提取與重建集成在一個(gè)統(tǒng)一的網(wǎng)絡(luò)框架中，有效提高了重建圖像質(zhì)量并改善細(xì)節(jié)信息，適用于各種自然圖像的超分辨率重建。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，主要涉及圖像超分辨重建，具體是一種基于稀疏自編碼網(wǎng)絡(luò)與極速學(xué)習(xí)的圖像超分辨重建方法，該方法可用于各類自然圖像和字符圖像的超分辨率重建。

背景技術(shù)

圖像超分辨率重建技術(shù)能夠利用信號(hào)處理的手段從低分辨率的圖像中恢復(fù)出高分辨率的圖像，在許多領(lǐng)域取得了廣泛的應(yīng)用。傳統(tǒng)的基于重構(gòu)的超分辨方法大多利用的是圖像的邊緣特性、像素的非負(fù)性和局部平滑特性等先驗(yàn)知識(shí)構(gòu)造約束條件，對(duì)圖像自身的先驗(yàn)信息利用的不足，當(dāng)放大系數(shù)較大時(shí)恢復(fù)出來(lái)的結(jié)果圖像過(guò)于平滑。Freeman等人提出了一種基于學(xué)習(xí)的方法，利用馬爾科夫網(wǎng)絡(luò)來(lái)學(xué)習(xí)訓(xùn)練庫(kù)中對(duì)應(yīng)的高、低分辨率圖像塊之間的關(guān)系來(lái)預(yù)測(cè)輸入低分辨率圖像的細(xì)節(jié)信息。Chang等人提出了鄰域嵌入(NeighborEmbedding)方法，利用局部線性嵌入的思想，從訓(xùn)練庫(kù)中選取輸入樣本的多個(gè)近鄰，然后根據(jù)誤差最小的原則得到重建權(quán)重，通過(guò)對(duì)這些近鄰塊進(jìn)行線性組合得到重建結(jié)果。但是這些方法特征提取的不夠準(zhǔn)確，往往找不到準(zhǔn)確的近鄰，而且特征提取與重建步驟獨(dú)自進(jìn)行而導(dǎo)致重建不準(zhǔn)確，重建圖像的質(zhì)量一般。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述已有技術(shù)的缺點(diǎn)，提出一種基于稀疏自編碼網(wǎng)絡(luò)與極速學(xué)習(xí)的圖像超分辨重建方法，改善特征提取的過(guò)程，將特征提取和重建集成在一個(gè)統(tǒng)一的網(wǎng)絡(luò)框架中，提高重建圖像的效率和質(zhì)量。

本發(fā)明是一種基于稀疏自編碼網(wǎng)絡(luò)與極速學(xué)習(xí)的圖像超分辨重建方法，其特征在于，包括有如下步驟：

步驟1：輸入訓(xùn)練樣例圖像對(duì)，用重疊的方式將低分辨率訓(xùn)練樣例圖像分割為大小為的低分辨率訓(xùn)練樣例圖像塊并拉成向量用相同的方式將高分辨率訓(xùn)練樣例圖像分割為與低分辨率訓(xùn)練樣例圖像塊相對(duì)應(yīng)的大小為的高分辨率訓(xùn)練樣例圖像塊并拉成向量其中n表示低分辨率訓(xùn)練樣例圖像塊向量的維度，N表示高分辨率和低分辨率訓(xùn)練樣例圖像塊的規(guī)模，s表示上采樣倍數(shù)；

步驟2：將低分辨率訓(xùn)練樣例圖像塊向量輸入到稀疏自編碼網(wǎng)絡(luò)中，得到第一層輸出稀疏權(quán)重矩陣W₁，將低分辨率訓(xùn)練樣例圖像向量與權(quán)值矩陣W₁的轉(zhuǎn)置矩陣W₁^T相乘并通過(guò)非線性函數(shù)g得到第一層稀疏特征其中

步驟3：將第一層稀疏特征輸入到稀疏自編碼網(wǎng)絡(luò)中，得到第二層輸出稀疏權(quán)重矩陣W₂，將第一層稀疏特征與權(quán)值矩陣W₂的轉(zhuǎn)置矩陣相乘并通過(guò)非線性函數(shù)g得到第二層稀疏特征其中

步驟4：以第二層稀疏特征作為輸入，對(duì)應(yīng)的高分辨率訓(xùn)練樣例圖像塊向量為輸出訓(xùn)練極速學(xué)習(xí)機(jī)網(wǎng)絡(luò)，得到極速學(xué)習(xí)機(jī)輸出權(quán)重W_3o，其中極速學(xué)習(xí)機(jī)的隨機(jī)初始化權(quán)重為W_3i；

步驟5：輸入待超分辨率重建的低分辨率測(cè)試圖像X，按重疊的方式分割成大小為的圖像塊并拉成向量形成低分辨率測(cè)試圖像向量

步驟6：將低分辨率測(cè)試圖像向量輸入到第一層稀疏自編碼器得到第一層稀疏特征其中

步驟7：將第一層稀疏特征輸入第二層稀疏自編碼器得到第二層稀疏特征其中