[發明專利]結合多采樣率下采樣和超分辨率重建技術的圖像編碼框架

在審

• 申請號: 201711314711.6
• 申請日: 2017-12-12
• 公開（公告）號: CN109922339A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 何小海;李興龍;卿粼波;任超;占文樞;滕奇志;吳小強
• 申請（專利權）人: 四川大學
• 主分類號: H04N19/122
• 分類號: H04N19/122;H04N19/124;H04N19/132;H04N19/147;H04N19/59
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種結合多采樣率下采樣和超分辨率重建技術的圖像編碼框架。主要包括以下步驟：將待壓縮圖像分成32×32的塊，然后在多種采樣率下對每個塊進行下采樣；對每種下采樣塊進行粗略的JPEG編解碼，并上采樣解碼后的低分辨率塊；通過率失真優化選擇每個塊的最優的采樣率與量化參數；根據選定的參數，使用JPEG對各個塊進行編解碼，并使用基于深度學習的超分辨率技術對解碼塊進行重建；將重建塊組合成圖像。本發明可以在全碼率段提升JPEG的率失真性能，并且在相同解碼圖像質量下，可以實現更高的壓縮率。本方法可以適用于多種主流圖像編碼器，實現圖像數據的高效存儲與傳輸。

技術領域

本發明涉及圖像超分辨率重建和圖像壓縮技術，具體涉及一種結合多采樣率下采樣和超分辨率重建技術的圖像編碼框架，屬于圖像通信領域。

背景技術

圖像壓縮是一種通過減少原始圖像數據間的冗余性來降低數據量的圖像處理技術，可以解決圖像設備的存儲空間不足和傳輸帶寬有限等問題。JPEG作為主流的圖像編碼標準之一，由于其具有較低的計算復雜度等優點，使得它在網絡和無線通信等有損壓縮領域被廣泛地使用。然而，在碼率有限的情況下，JPEG的壓縮性能會大大降低，使得解碼圖像存在嚴重的壓縮效應，從而降低了壓縮后圖像的視覺質量。

隨著高清及超高清設備的普及，人們對圖像與視頻的分辨率的需求越來越高。然而受限于較高的設備成本與不同的使用環境等，使得獲取的圖像與視頻質量仍不能滿足需求。超分辨率重建是一種通過軟件的方式對已知低分辨率圖像進行分辨率提升的技術，可以在不需要更新硬件設備的前提下，獲取到更高質量的圖像，具有很高的實用性。近些年，隨著機器學習的快速發展，基于深度學習的超分辨率重建方法進入了大眾的視野。相比于傳統的超分辨率重建技術，基于深度學習的超分辨率重建可以獲得更高質量的圖像，同時在重建階段，具有更快的重建速度。

在編碼端對待壓縮圖像進行下采樣，同時在解碼端通過超分辨率技術獲得原始分辨率圖像的方案，在一定程度上解決了現有壓縮標準在低碼率段效果不佳的問題。但是，該方案僅適用于較低碼率段，隨著碼率的提升，壓縮性能會有很大程度的下降，因此在實際應用中具有很大的局限性。

發明內容

本發明提出的結合多采樣率下采樣和超分辨率重建技術的圖像編碼框架，用于提升JPEG編碼標準在全碼率段的率失真性能。同時所提出的框架也可應用于其它的第三方編碼器以提升其編碼性能。

本發明提出的結合多采樣率下采樣和超分辨率重建技術的圖像編碼框架，主要包括以下操作步驟：

(1)將原始圖像按32×32大小進行分塊，然后對每個塊進行多種采樣率的下采樣；

(2)對下采樣后的小塊進行多量化參數的預編解碼，并統計量化后DCT系數的非零值的個數；

(3)用插值方法將解碼后的圖像小塊插值到原始分辨率，并計算重建塊與原始塊間的均方誤差；

(4)使用率失真優化算法，選擇最優的采樣率及其對應的下采樣模式與量化參數；

(5)根據獲得的最優采樣模式與量化參數，使用JPEG對原始圖像塊進行下采樣與編解碼；

(6)通過使用基于深度學習的超分辨率重建技術訓練出的模型，對解碼后的圖像小塊進行超分辨率重建；

(7)將重建的圖像塊按照相應的方式組合，形成最終解碼圖像。

附圖說明

圖1是本發明結合多采樣率下采樣和超分辨率重建技術的圖像編碼框架的框圖

圖2是基于深度學習的超分辨率重建方法的針對性模型訓練過程及其重建的框圖

圖3是本發明及JPEG壓縮算法對‘Bike’測試圖像在全碼率段的率失真性能比較