[發明專利]一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法

在審

• 申請號: 201710227448.0
• 申請日: 2017-04-10
• 公開（公告）號: CN106991648A
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 任鵬;孫文健;王廷偉
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/02;G06F17/15;G06F17/14
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及圖像超分辨率重建技術，尤其涉及一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法。

背景技術

人們運用數字信號處理技術從一幀或者多幀低分辨率圖像中重構出高分辨率圖像的過程叫做圖像超分辨率重建。圖像超分辨率重建能解決由于數字圖像采集設備固有的分辨率級別限制導致的硬件設備成像分辨率較低的問題。除此之外，圖像超分辨率重建還能解決由于各種復雜應用環境導致的圖像細節缺失、噪聲和欠采樣等影響圖像分辨率的問題。圖像超分辨率重建在克服硬件設備限制和應用環境多變等困難的同時能夠切實有效地提高圖像的分辨率，節約各個應用領域的生產成本。

基于機器學習的圖像超分辨率重建是當前人們用于解決圖像超分辨率重建問題的主流方法，比如基于稀疏字典表示的圖像超分辨率重建、基于卷積神經網絡的圖像超分辨率重建和基于生成對抗網絡的圖像超分辨率重建等。上述經典圖像超分辨率重建方法都需要從大訓練數據集中學習圖像先驗，然而單一的稀疏字典模型、卷積神經網絡模型或者生成對抗網絡模型的學習能力并不足以容納訓練數據集中的圖像先驗。因此，采用單一的機器學習模型不能實現最優的圖像超分辨率重建效果。

發明內容

在下文中給出了關于本發明的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，這個概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

鑒于此，本發明提供了一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法，以至少解決現有的圖像超分辨率重建方法因算法自身的學習能力有限而導致其超分辨率重建效果不能達到最優的問題。

根據本發明的一個方面，提供了一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法，該方法包括：

在訓練階段：對訓練數據集中的高分辨率圖像I_h進行高斯濾波及降采樣處理生成對應的低分辨率圖像I_l；對高分辨率圖像I_h做單尺度二維離散小波變換以提取其低頻分量F_LL、水平低頻垂直高頻成分F_LH、水平高頻垂直低頻成分F_HL和對角方向高頻分量F_HH等四個頻率成分；以低分辨率圖像I_l作為輸入數據，以高分辨率圖像的低頻分量F_LL、水平低頻垂直高頻成分F_LH、水平高頻垂直低頻成分F_HL和對角方向高頻分量F_HH分別作為標簽，訓練四個卷積神經網絡模型。

在超分辨率重建階段：將給定的測試低分辨率圖像I_l輸入四個經訓練得到的卷積神經網絡模型中生成高分辨率圖像的低頻分量F_LL、水平低頻垂直高頻成分F_LH、水平高頻垂直低頻成分F_HL和對角方向高頻分量F_HH；對上述高分辨率圖像的四個頻率成分做單尺度二維離散小波反變換生成高分辨率圖像I_h。

通過以上描述可知，本發明的一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法，其一方面采取頻域聚類的方式，從四個不同的頻率成分上對圖像進行超分辨率重建，能夠使得卷積神經網絡模型專門學習低分辨率圖像到某一頻率成分的映射；另一方面，該方法采用四個三層的卷積神經網絡模型根據低分辨率圖像生成高分辨率圖像的四個頻率成分，進而通過對四個頻率成分進行單尺度二維離散小波反變換生成高分辨率圖像，能夠充分利用卷積神經網絡模型的學習能力，使得超分辨率重建效果相對現有技術大大改善。

附圖說明

本發明可以通過參考下文中結合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分，用來進一步舉例說明本發明的原理。在附圖中：

圖1A表示的是本發明一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法所用的卷積神經網絡模型的訓練過程。

圖1B表示的是本發明一種基于小波變換和卷積神經網絡的圖像超分辨率重建方法的圖像超分辨率重建過程；

具體實施方式