[發(fā)明專(zhuān)利]結(jié)合多采樣率下采樣和超分辨率重建技術(shù)的圖像編碼框架

在審

• 申請(qǐng)?zhí)枺?/td>: 201711314711.6
• 申請(qǐng)日: 2017-12-12
• 公開(kāi)（公告）號(hào): CN109922339A
• 公開(kāi)（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 何小海;李興龍;卿粼波;任超;占文樞;滕奇志;吳小強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 四川大學(xué)
• 主分類(lèi)號(hào): H04N19/122
• 分類(lèi)號(hào): H04N19/122;H04N19/124;H04N19/132;H04N19/147;H04N19/59
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.結(jié)合多采樣率下采樣和超分辨率重建技術(shù)的圖像編碼框架，其特征在于包括以下步驟：

步驟一：將原始圖像按32×32大小進(jìn)行分塊，然后對(duì)每個(gè)塊進(jìn)行多種采樣率的下采樣；

步驟二：對(duì)下采樣后的小塊進(jìn)行多量化參數(shù)的預(yù)編解碼，并統(tǒng)計(jì)量化后DCT系數(shù)的非零值的個(gè)數(shù)；

步驟三：用插值方法將解碼后的圖像小塊插值到原始分辨率，并計(jì)算重建塊與原始?jí)K間的均方誤差；

步驟四：使用率失真優(yōu)化算法，選擇最優(yōu)的采樣率及其對(duì)應(yīng)的下采樣模式與量化參數(shù)；

步驟五：根據(jù)獲得的最優(yōu)采樣模式與量化參數(shù)，使用JPEG對(duì)原始圖像塊進(jìn)行下采樣與編解碼；

步驟六：通過(guò)使用基于深度學(xué)習(xí)的超分辨率重建技術(shù)訓(xùn)練出的多個(gè)模型，對(duì)解碼后的圖像小塊進(jìn)行超分辨率重建；

步驟七：將重建的圖像塊按照相應(yīng)的方式組合，形成最終解碼圖像。

2.根據(jù)權(quán)利要求1所述的結(jié)合多采樣率下采樣和超分辨率重建技術(shù)的圖像編碼框架，其特征在于步驟一中所述的利用最小二乘法對(duì)每個(gè)32×32的圖像塊在多種采樣率下進(jìn)行最優(yōu)下采樣，

式中，Y為原始圖像塊，為下采樣后的低分辨率塊，h和v分別表示水平以及垂直方向上的采樣率，該方法求得在每種采樣率下對(duì)應(yīng)的上采樣矩陣H^h,v，然后使用最小二乘法求解上式中的上采樣塊與原始?jí)K誤差最小化問(wèn)題，

通過(guò)該方法可獲取已知原始圖像塊在不同采樣率下的最優(yōu)下采樣塊。

3.根據(jù)權(quán)利要求1所述的結(jié)合多采樣率下采樣和超分辨率重建技術(shù)的圖像編碼框架，其特征在于步二及步驟三中所構(gòu)建的預(yù)編解碼過(guò)程，該預(yù)編解碼過(guò)程中不進(jìn)行Huffman編碼，只進(jìn)行DCT正反變換和量化與逆量化過(guò)程。

4.根據(jù)權(quán)利要求1所述的結(jié)合多采樣率下采樣和超分辨率重建技術(shù)的圖像編碼框架，其特征在于步驟四中所述的為每個(gè)圖像塊選取最優(yōu)采樣率和量化參數(shù)所使用的率失真優(yōu)化算法，率失真優(yōu)化的目的是尋找使得優(yōu)化函數(shù)J最小的模式，

min(J),wtih J＝MSE+λNZC

式中，MSE和NZC分別為每種模式下的在步驟二和步驟三中獲得的非零量化DCT系數(shù)以及重建塊與原始?jí)K間的均方誤差；同時(shí)在優(yōu)化過(guò)程中，MSE與量化因子QF成正比，并且NZC和量化因子QF成反比，通過(guò)大量數(shù)據(jù)擬合獲得其函數(shù)關(guān)系，并通過(guò)求偏導(dǎo)獲得拉格朗日乘子λ的值為

其中QF是當(dāng)前圖像進(jìn)行標(biāo)準(zhǔn)JPEG編碼時(shí)使用的質(zhì)量因子。

5.根據(jù)權(quán)利要求1所述的結(jié)合多采樣率下采樣和超分辨率重建技術(shù)的圖像編碼框架，其特征在于步驟六中所述的使用基于深度學(xué)習(xí)的超分辨率重建技術(shù)對(duì)解碼后的下采樣塊進(jìn)行超分辨率重建：訓(xùn)練階段，在同一采樣率下對(duì)訓(xùn)練圖像進(jìn)行下采樣，然后使用標(biāo)準(zhǔn)JPEG編解碼，通過(guò)此過(guò)程來(lái)模擬框架中不同采樣率和量化參數(shù)下的編解碼過(guò)程，然后使用VDSR(Super Resolution Using Very Deep Convolutional Networks)算法來(lái)訓(xùn)練解碼后的降質(zhì)圖像與原始圖像間的映射關(guān)系，生成卷積網(wǎng)絡(luò)模型；在重建時(shí)，根據(jù)當(dāng)前解碼塊的量化參數(shù)，選擇對(duì)應(yīng)的網(wǎng)絡(luò)模型進(jìn)行重建。