[發明專利]用于為低分辨率圖像提供超分辨率的設備和方法

有效

• 申請號: 201480082564.2
• 申請日: 2014-08-08
• 公開（公告）號: CN106796716B
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 湯曉鷗;董超;呂健勤;何凱明
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

公開一種用于為低分辨率圖像提供超分辨率的設備。所述設備可包括：圖像塊提取與表示裝置，其包括被配置成從所述低分辨率圖像中提取圖像塊并且將所提取的圖像塊表示為高維向量的第一組濾波器；映射裝置，其包括被配置成將每個所述高維向量非線性地映射為高分辨率圖像塊表示的第二組濾波器；以及聚合裝置，其被配置成聚合所述高分辨率圖像塊表示，以生成所述低分辨率圖像的高分辨率圖像。還公開一種用于為低分辨率圖像提供超分辨率的方法。

技術領域

本申請總體涉及圖像處理的領域，確切地說，涉及用于為低分辨率圖像提供超分辨率的設備和方法。

背景技術

超分辨率(SR)是提高成像系統的分辨率的一類技術。用于單個圖像的超分辨率的近來現有技術方法多數是基于實例的(example-based)。這些方法利用相同圖像的內部相似度，或者從外部低分辨率和高分辨率實例對中學習映射函數。基于外部實例的方法通常具有充足的樣本，但受到有效且簡潔地對數據建模的困難的挑戰。

一類現有技術SR方法學習高/低分辨率圖像塊(patch)之間的映射。這些研究在在對用于將低/高分辨率圖像塊關聯起來的簡明字典(compact dictionary)或多方面的空間(manifold space)進行如何學習的方面是不同的，并且在如何在此類空間中建立表示方案(representation scheme)的方面也是也不同的。在這些方法中，圖像塊的優化是焦點；圖像塊提取和聚合步驟被視作預處理/后處理并且單獨地進行處理。

卷積神經網絡(CNN)追溯到數十年前，并且近來，部分由于它成功進行圖像分類而火爆地流行起來。卷積神經網絡通常應用于自然圖像去噪和去除噪音模式(污物/雨)，而不用于圖像超分辨率問題。

發明內容

根據本申請的實施方式，公開了用于為低分辨率圖像提供超分辨率的設備。所述設備可包括：圖像塊提取與表示裝置，其包括被配置成從所述低分辨率圖像中提取圖像塊并且將所提取的圖像塊表示為高維向量的第一組濾波器；映射裝置，其包括被配置成將所述高維向量中的每個非線性地映射為高分辨率圖像塊表示的第二組濾波器；以及聚合裝置，其被配置成聚合所述高分辨率圖像塊表示以生成所述低分辨率圖像的高分辨率圖像，其中，所述第一組濾波器被配置成從所述低分辨率圖像中提取所述圖像塊并且根據第一參數的第一非線性函數將所提取的圖像塊中的每個表示為所述高維向量，其中所述第一參數是從與所述低分辨率圖像相關聯的預定參數中確定的。

在一個實施方式中，所述第二組濾波器被配置成根據第二參數的第二非線性函數將所述高維向量中的每個非線性地映射為所述高分辨率圖像塊表示，其中所述第二參數是從與所述高維向量相關聯的預定參數中確定的。

在一個實施方式中，上述的設備還包括：比較裝置，其被配置成從預定訓練集中對與所述低分辨率圖像對應的標定真實高分辨率圖像進行取樣，并且比較所述聚合的高分辨率圖像與對應的標定真實高分辨率圖像之間的不同以生成重建誤差，其中將所述重建誤差反向傳播通過經過預先訓練的卷積神經網絡，以確定所述第一參數和所述第二參數。在一個實施方式中，所述重建誤差可例如包括均方誤差。

在一個實施方式中，上述的設備還包括訓練集準備裝置，其中所述訓練集準備裝置還包括：修剪器，其被配置成從隨機選擇的訓練圖像中隨機修剪多個子圖像，以生成標定真實高分辨率子圖像的集合；低分辨率子圖像生成器，其被配置成基于所述真實高分辨率子圖像的集合來生成低分辨率子圖像的集合；配對裝置，其被配置成將所述標定真實高分辨率子圖像中的每個與對應的低分辨率子圖像進行配對；以及收集器，其被配置成收集配對的標定真實高分辨率子圖像和所述低分辨率子圖像，以形成所述預定訓練集。

在一個實施方式中，所述低分辨率子圖像生成器還包括：模糊裝置，其被配置成通過高斯核而使所述標定真實高分辨率子圖像中的每個模糊；下取樣裝置，其被配置成以預定比例因子對模糊的標定真實高分辨率子圖像進行下取樣；以及放大裝置，其被配置成以預定放大因子放大下取樣的標定真實高分辨率子圖像，以生成所述低分辨率子圖像的集合。