[發明專利]基于圖像金字塔和生成對抗網絡的圖像壓縮方法及系統

有效

• 申請號: 202110182844.2
• 申請日: 2021-02-08
• 公開（公告）號: CN112991169B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 梅紅巖;于恒;耿耀港
• 申請（專利權）人: 遼寧工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;張娓娓

本發明提供了一種基于圖像金字塔和生成對抗網絡的圖像壓縮方法及系統，其中的方法包括：在圖像金字塔的下采樣金字塔中進行的圖像壓縮階段和在與所述下采樣金字塔相對應的上采樣金字塔中進行的圖像重構階段，采用至少兩層下采樣結構的圖像壓縮框架及相應的圖像重構框架，在每層下采樣結構中均采用雙三次線性插值方法對輸入該層的圖像進行層級壓縮；其中，下采樣金字塔的不同層級結構相對獨立且對應不同比例的圖像壓縮，上采樣金字塔的不同層級結構相對獨立且對應不同比例的圖像重構。本發明采用圖像金字塔構建多級結構，并在各層級金字塔結構中引入生成對抗網絡，能夠有效提高重構圖像的分辨率。

技術領域

本發明涉及圖像壓縮技術領域，更為具體地，涉及一種基于圖像金字塔和生成對抗網絡的圖像壓縮方法及系統。

背景技術

圖像壓縮作為許多計算機圖像領域中的潛在應用，一直是一個基礎并且重要的課題，隨著5G的發展，多媒體數據的增長速度更是對現有的網絡帶寬與存儲設備提出了更大挑戰，同時人們對圖像的清晰度也有了更高的要求。因此，對圖像壓縮的需求越來越高。

傳統的圖像壓縮如JPEG、JPEG2000、BPG等都依賴于對圖像塊的變化和量化編碼，如離散余弦變換(DCT)和利用離散小波變換，結合量化和熵編碼器來減少自然場景圖像的空間冗余。然而，并不是所有類型圖像都適用于這種方案，單個塊變換后的量化不可避免地會產生塊效應。與此同時，當大量的數據在傳輸帶寬非常有限時，為了實現低比特率編碼，總是將參數分配給編解碼器，從而導致嚴重的模糊和振鈴效應，為了有效的提高圖像壓縮效率以及得到更清晰的解碼圖像，諸多基于深度學習的圖像壓縮方法由此被提出。

深度學習技術隨著GPU、分布式計算等計算機運算水平的發展得到了進一步的提升，深度學習技術目前已經在圖像壓縮領域取得了一定的成果。Ballé等人最早提出了基于卷積神經網絡的圖像壓縮方法并進行多次改進，該方法采用廣義分歧歸一化函數并結合卷積網絡的特性，在當時取得了比肩JPEG2000的圖像壓縮效果，但該方法的時效性低，重構圖像仍有提升清晰度的空間；Toderici等人提出了基于循環神經網絡的圖像壓縮方法，該方法實現小尺寸圖像在給定圖像質量的情況下的以優異的壓縮率得到清晰的重構圖像，但由于圖像間的依賴關系不足導致這種圖像壓縮方法只能在小尺寸圖像中得以應用；Rippel等人提出的基于生成對抗網絡的圖像壓縮方法，其實現效果不僅超過了傳統圖像壓縮方法，并且提高了時效性；Agustsson E等人提出的方法使用生成對抗網絡并結合語義標簽信息，實現了超低碼率下的重構圖像。

采用生成對抗網絡的圖像壓縮方法都有著較為清晰的重構圖像，但都沒有實現不同比例的圖像壓縮，并且由于生成對抗網絡的生成圖像存在單一性問題，導致了生成圖像與真實圖像有時會存在些許偏差。

發明內容

鑒于上述問題，本發明的目的是提供一種基于圖像金字塔和生成對抗網絡的圖像壓縮方法及系統。

根據本發明的一個方面，提供了一種基于圖像金字塔和生成對抗網絡的圖像壓縮方法，包括：

圖像壓縮階段，在圖像金字塔的下采樣金字塔中進行，采用至少兩層下采樣結構的圖像壓縮框架，在每層下采樣結構中均采用雙三次線性插值方法對輸入該層的圖像進行層級壓縮；其中，所述下采樣金字塔的不同層級結構相對獨立且對應不同比例的圖像壓縮；

圖像重構階段，在與所述下采樣金字塔相對應的上采樣金字塔中進行，采用與所述下采樣金字塔的層級結構相對應的圖像重構框架對輸入該層的圖像進行層級重構；其中，所述上采樣金字塔的不同層級結構相對獨立且對應不同比例的圖像重構。

根據本發明的另一方面，提供了一種基于圖像金字塔和生成對抗網絡的圖像壓縮系統，其特征在于，包括：

圖像壓縮單元，設置在圖像金字塔的下采樣金字塔中，用于采用至少兩層下采樣結構的圖像壓縮框架，在每層下采樣結構中均采用雙三次線性插值方法對輸入該層的圖像進行層級壓縮；其中，所述下采樣金字塔的不同層級結構相對獨立且對應不同比例的圖像壓縮；