[發明專利]一種結合深度監督自編碼和感知迭代反投影的圖像超分辨率重建方法

有效

• 申請號: 201910323754.3
• 申請日: 2019-04-22
• 公開（公告）號: CN110111251B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 解梅;鈕孟洋;趙雷;廖炳焱
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄒裕蓉

本發明提出一種結合深度監督自編碼和感知迭代反投影的圖像超分辨率重建方法，相對于現有方法直接訓練重建模型，將低分辨率圖像輸入訓練好的重建模型直接得到超分辨率圖像，重建模型一經訓練完畢就無法調整。本發明將超分辨率圖像到低分辨率圖像的降質過程視為編碼，將低分辨率圖像到超分辨率圖像的重建過程視為解碼，從而訓練出反映了圖像復雜退化模型的編碼器。本發明使用雙三次插值圖像作為超分辨率圖像迭代初始值，使用訓練完畢編碼器得到每次迭代生成的超分辨率圖像的退化后圖像，將退化后圖像與實際的低分辨率圖像比較得到感知損失，再利用感知損失更新超分辨率圖像。本發明能消除掉很大余量的模糊、抖動、噪聲等干擾，重建出高分辨率圖像。

技術領域

本發明屬于圖像處理領域，主要用于單圖像超分辨率重建。

技術背景

圖像超分辨率重建(Super-Resoluion,SR)是目前計算機視覺領域的研究熱點，它利用數字信號處理技術，結合線代傳感器成像先驗知識與機器學習、模式識別技術，根據模糊的低分辨率圖像，消除其在采集、傳播和存儲過程中所受到的不可逆的退化，重建出清晰完整的高分辨圖像。超分辨率重建在智慧城市、大數據醫療、多媒體社交、自動駕駛等多領域都有著廣泛的應用場景，是非常重要的數字圖像處理技術。當前的圖像超分辨率重建技術包括圖像插值方法、鄰域嵌入方法、稀疏編碼方法和深度學習方法。這些方法都預設了低分辨率圖像與潛在高分辨率圖像之間的雙三次插值降采樣之間的降質關系，并在此假設上設計算法，因此難以應對圖像退化過程中噪聲、模糊、壓縮等多種退化，魯棒性差，實用性低。

發明內容

本發明解決噪聲、模糊、壓縮、降采樣等復雜退化模型下的圖像超分辨率重建問題，提出一種新的圖像超分辨率重建方法。

本發明為解決上述技術問題所采用的技術方案是，一種結合深度監督自編碼和感知迭代反投影的圖像超分辨率重建方法，相對于現有方法直接訓練重建模型，將低分辨率圖像輸入訓練好的重建模型直接得到超分辨率圖像，重建模型一經訓練完畢就無法調整。本發明將超分辨率圖像到低分辨率圖像的降質過程視為編碼，將低分辨率圖像到超分辨率圖像的重建過程視為解碼，從而訓練出反映了圖像復雜退化模型的編碼器。本發明使用雙三次插值圖像作為超分辨率圖像迭代初始值，使用訓練完畢編碼器得到每次迭代生成的超分辨率圖像的退化后圖像，將退化后圖像與實際的低分辨率圖像比較得到感知損失，再利用感知損失更新超分辨率圖像，是一個逐步逼近的過程。

本發明的有益效果是，利用學習了復雜圖像退化先驗知識的深度自編碼器作為圖像復雜退化模型，隨后使用退化特征空間的感知損失投影迭代修正重建圖像以得到最終的超分辨率圖像輸出，可以消除掉很大余量的模糊、抖動、噪聲等干擾，重建出高分辨率圖像。

附圖說明

圖1為圖像退化方式示意圖；

圖2為深度監督自編碼器；

圖3為基于編碼器的反投影網絡及梯度傳播線路；

圖4為感知損失計算及梯度反向傳播路線；

圖5圖像超分辨率重建效果展示。

具體實施方式

本發明包括2個步驟:

步驟1采用深度自編碼器學習復雜圖像退化模型，接收復雜退化條件下的訓練圖像對來著重訓練編碼器部分；

步驟2將深度自編碼器中編碼器部分的深度卷積神經網絡作為迭代反投影算法中的退化模型，使用雙三次插值圖像作為超分辨率圖像迭代初始值，計算超分辨率圖像退化后與觀測圖像在特征空間中的感知損失，并用以迭代更新超分辨率圖像，直至損失低于閾值。

下面對兩個步驟進行詳細說明：

1.通過深度自編碼器學習復雜圖像退化模型