[發明專利]一種基于擴散模型的單幀圖像超分辨處理方法

有效

• 申請號: 202110474006.2
• 申請日: 2021-04-29
• 公開（公告）號: CN113177882B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 李奇;李昊穎;常猛;王靜;陳躍庭;馮華君;徐之海
• 申請（專利權）人: 浙江大學;北京環境特性研究所
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于擴散模型的單幀圖像超分辨處理方法。方法建立超分辨擴散模型的擴散過程和條件噪聲預測器；將高低分辨圖像數據集輸入到超分辨擴散模型的條件噪聲預測器，利用超分辨擴散模型的擴散過程對條件噪聲預測器進行訓練，獲得預訓練后的條件噪聲預測器；待處理的低分辨圖像輸入到超分辨擴散模型的逆過程中，獲得殘差預測圖像；殘差預測圖像與經過上采樣操作的低分辨圖像相加，得到預測的超分辨圖像。本發明對同一張低分辨圖像生成具有一致特征的多張超分辨圖像，每張超分辨圖像具有豐富的紋理和自然性，避免了過平滑問題、模式崩塌問題，在較少時間開銷下提高了重建性能。

技術領域

本發明屬于圖像處理技術、計算機視覺、深度學習領域的一種圖像處理方法，尤其涉及圖像超分辨技術領域的一種基于擴散模型的單幀圖像超分辨處理方法。

背景技術

單幀圖像超分辨任務在計算機視覺領域有廣泛的應用，如目標識別、多媒體技術、航空航天成像等。單幀圖像超分辨任務旨在從低分辨圖像中恢復高分辨圖像，這是一個病態的問題，因為多個高分辨圖像可以退化為同一張低分辨圖像。

為了建立高分辨圖像和低分辨圖像之間的映射，近年來出現了許多基于神經網絡的方法，這些方法可分為三種主要類型：面向PSNR前饋超分辨神經網絡的方法、基于對抗生成網絡(GAN)的方法和基于流(Flow)的方法。然而，面向PSNR的前饋超分辨神經網絡方法得到的是多個超分辨潛在解的平均，導致超分辨圖像過于平滑；基于GAN的方法容易帶來“模式坍塌”，導致生成的超分辨圖像趨近于同一解；基于流的方法需要極大的模型參數和計算開銷。如何對同一張低分辨圖像生成與其一致的多個高質量的高分辨圖像同時避免較大的計算開銷是現有技術中并沒有解決和實現的。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于擴散模型的單幀圖像超分辨處理方法，可對同一張低分辨圖像，生成與其一致特征的多張高分辨圖像。

本發明的目的是通過以下技術方案來實現的：

1)建立超分辨擴散模型的擴散過程和條件噪聲預測器ε_θ；

2)將已知的高低分辨圖像數據集輸入到超分辨擴散模型的條件噪聲預測器ε_θ，其中I_H為高分辨圖像，I_L為其對應的低分辨圖像，k表示高低分辨圖像對的序號，K為高低分辨圖像數據集P中高低分辨圖像對的總數；利用超分辨擴散模型的擴散過程對條件噪聲預測器ε_θ進行訓練，獲得預訓練后的條件噪聲預測器ε_θ；

3)由建立超分辨擴散模型的擴散過程反向作為超分辨擴散模型的逆過程，待處理的低分辨圖像輸入到超分辨擴散模型的逆過程中，獲得殘差預測圖像即待處理的低分辨圖像對應的高分辨圖像。

4)殘差預測圖像與經過上采樣操作的低分辨圖像up(I_L)相加，得到預測的超分辨圖像I_SR，其中up()為上采樣操作，I_L為原始待處理的低分辨圖像。

高低分辨圖像數據集是由很多已知的高低分辨圖像對構成，每一對高低分辨圖像主要是由高分辨圖像I_H及其對應的低分辨圖像up(I_L)組成，高低分辨圖像對高分辨圖像對應的低分辨圖像是與高分辨圖像在同一場景下或者針對同一目標所采集的分辨率不同的圖像，可以是由高分辨圖像進行分辨率壓縮處理獲得或者采用不同設備的拍攝獲得；高分辨圖像的分辨率較高，低分辨圖像的分辨率較低。