[發明專利]一種基于視頻編碼的單幀圖像超分辨率方法

有效

• 申請號: 202110541900.7
• 申請日: 2021-05-18
• 公開（公告）號: CN113393377B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 吳慶波;李鵬飛;李宏亮;孟凡滿;許林峰;潘力立
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/40;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 羅江

本發明公開了一種基于視頻編碼的單幀圖像超分辨率方法，利用視頻編碼中可以直接得到的先驗信息，對圖像的不同部分子塊進行針對性的處理，利用復雜的網絡處理紋理更復雜的子塊，同時設計一個自適應卷積模塊對不同編碼模式的子塊進行針對處理，使網絡更有針對性，針對不同的紋理恢復出不同的細節信息，從而提高超分辨率結果的精度。本發明將少通道的網絡的參數共享到深通道的網絡中，即達到用一個主干網絡的不同層數實現一整張圖片的超分辨率過程，使用相對簡單，淺層，少通道的網絡處理相對大的、紋理更為平滑的子塊，減少超分辨過程所需要的時間。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于視頻編碼的單幀圖像超分辨率方法。

背景技術

圖像超分辨率是將輸入的低分辨率的視覺圖像轉化為高分辨率的視覺圖像的過程。最近超分辨率工作的一個重要的關注點是提出各式各樣的對推理過程進行加速的網絡。其中一個分支是利用更少的參數，更快的速度實現高效的超分辨率工作。例如早期的FSRCNN，直接將輸入圖像進行特征提取，隨后特征圖經過一個上采樣網絡完成超分辨率圖像的構建。又例如最近的工作CARN是利用了分組卷積技術設計了一個殘差網絡，以實現對輸入圖片的快速處理。另一個分支是增大網絡模型的復雜度，增加模型分支數目，通過對不同種類的輸入進行單獨訓練，如ClassSR。

ClassSR通過對不同復雜程度的低分辨率輸入圖像采用不同復雜度的神經網絡進行訓練和推理。由于圖像的大部分區域只需要通過計算量相對小的網絡，這種方法在一定程度上提升了網絡推理階段的運行速度。具體來說該方法是將圖片分割成32×32像素的小塊。通過一個預先訓練好的分類網絡，依據小塊圖像的紋理復雜程度將其分為三類：簡單圖片，中等圖片，困難圖片。不同類別的圖片對應不同通道數目的主干網絡。

在傳統的超分辨率網絡中，都是對整張圖片直接提取特征圖，這樣的結構使得網絡沒有辦法很好的學習每個區域不同的特征，應用相同的卷積核處理不同的區域使得恢復出來的圖像紋理細節與真實圖像不符。并且由于圖像不同區域的紋理細節復雜度不同，對低細節區域的復雜處理往往會沒有必要的增加網絡的計算量。但是如ClassSR提出的先分類后經過三個參數不共享的神經網絡會使得在訓練的時候花費大量的時間和計算力，增大了網絡的復雜度。在上述提到的缺點之外，如今的超分辨率方法大部分都忽略了圖像原本便的先驗信息對于圖像超分辨率過程的幫助。因此亟需一種網絡的計算量小，恢復出來的圖像紋理細節與真實圖像符合精度提高的超分辨率方法。

發明內容

為解決現有技術中存在的問題，本發明提供了一種基于視頻編碼的單幀圖像超分辨率方法，解決了上述背景技術中提到的問題。

為實現上述目的，本發明提供如下技術方案：一種基于視頻編碼的單幀圖像超分辨率方法，包括以下步驟：

S1、利用視頻編碼每一幀圖像的先驗信息，將視頻中低分辨率圖像I_LR按照H.265視頻編碼信息分為對應的4×4像素、8×8像素、16×16像素和32×32像素的子塊，對于4×4和8×8像素的子塊可以得到其對應的編碼預測模式M_pre，依據不同的編碼模式生成對應的高斯分布的模型G_m；

S2、利用16×16以及32×32像素的子塊對通道自適應主干網絡CAB進行訓練，將CAB中的每一個卷積塊分為conv1和conv2兩層通道,在每一次迭代中，僅使用conv1的參數進行前向和反向傳播，不使用conv2的參數，通過最小化感知損失和mse損失得到最終超分辨輸出I_SR

S3、利用4×4以及8×8像素的子塊對通道自適應主干網絡CAB進行訓練，此時使用conv1和conv2的參數進行前向傳播，conv1已經在的訓練中學習到了平滑信息的特征提取方式，在反向傳播的時候固定conv1的參數，僅更新conv2的參數，通過最小化感知損失和mse損失得到最終超分辨率輸出I_SR