[發(fā)明專利]一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 201810473375.8
• 申請日: 2018-05-17
• 公開（公告）號: CN108734659B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設計）人: 鄒臘梅;李長峰;羅鳴;陳婷;熊紫華;李曉光;張松偉;楊衛(wèi)東
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;曹葆青

本發(fā)明公開了一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法，包括：建立并訓練一個由特征提取結構、殘差模塊、上采樣結構、特征重建結構以及跨尺度跳躍連接結構組成的基于多尺度標簽的亞像素卷積網絡,并使用該網絡完成圖像的超分辨率重建工作。將輸入圖像由RGB顏色空間轉換到YCbCr顏色空間。其中，Cb、Cr兩個通道使用雙三次插值上采樣的方法完成超分辨率重建工作。Y通道送入到訓練好的網絡中，輸出Y通道的超分辨率重建圖像。融合Y、Cb、Cr通道的超分辨率重建圖像，得到最終的高分辨率圖像。本發(fā)明可以快速準確地得到超分辨率圖像，得到的超分辨率圖像無論是在主觀評測還是在客觀圖像質量評價方面，都能取得很好的效果。

技術領域

本發(fā)明屬于數字圖像處理、深度學習以及模式識別的交叉領域，更具體地，涉及一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法。

背景技術

提高圖像的分辨率在數字圖像處理相關領域具有十分重要的意義。然而獲取圖像分辨率大小與獲取圖像的設施有密切的關系，其中圖像傳感器的參數和光學制造技術決定了圖像的分辨率大小，通過提高圖像設備硬件水平會帶來巨大的經濟成本。獲取圖像質量還受到拍攝環(huán)境距離等不可控因素的影響，通過提高拍攝的硬件水平以及改善拍攝的環(huán)境方式來解決圖像分辨率問題的能力有限。

除了通過硬件方式提高圖像分辨率，還可以在獲取數字圖像之后，再將低分辨率圖像使用算法重建出其對應的高分辨率圖像。超分辨率技術優(yōu)勢在于擺脫了圖像獲取設備的硬件條件限制，可以使用軟件的方法重建高分辨率圖像。超分辨率技術本質上是對圖像高頻信息的預測，由于深度卷積網絡結構的特殊性，其在信息預測方面具有天然的優(yōu)勢，得到的高分辨率圖像具有不錯的視覺效果。傳統(tǒng)的深度卷積網絡雖然可以完成超分辨率的重建工作，但存在單一標簽監(jiān)督而導致的預測結果與真實圖像信息不符，網絡結構過于復雜，計算速度慢等問題。

發(fā)明內容

針對現(xiàn)有技術的以上缺陷或改進需求，本發(fā)明提供了一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法，由此解決現(xiàn)有技術對圖像高頻信息預測準確率不高，網絡結構復雜，計算速度慢的問題。

本發(fā)明提供了一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法，其特征在于，包括如下步驟：

(1)對輸入低分辨率圖像進行通道分解后獲得Y通道圖像、Cb通道圖像和Cr通道圖像；

(2)分別對所述Cb通道圖像和所述Cr通道圖像進行重建后獲得Cb通道重建高分辨率圖像和Cr通道重建高分辨率圖像；

(3)使用訓練好的基于多尺度標簽的亞像素卷積網絡實現(xiàn)對所述Y通道圖像的超分辨率重建；

(4)對Cb通道重建高分辨率圖像、Cr通道重建高分辨率圖像以及重建后的Y通道圖像進行融合處理，獲得基于多尺度標簽的亞像素卷積圖像超分辨率圖像。

更進一步地，步驟(3)具體為：

(3.1)對Y通道圖像進行特征提取后獲得初級特征圖；

(3.2)對初級特征圖進一步提取圖像特征得到高級特征圖；

(3.3)對高級特征圖進行上采樣處理；

(3.4)對經過上采樣處理后的高級特征圖進行重建，得到2倍超分辨率重建結果；

(3.5)對分辨率提升一倍后的高級特征圖進行殘差模塊處理后獲得高級殘差特征圖；

(3.6)使用256個大小為(2n-1)×(2n-1)的卷積模板對步驟(3.1)得到的初級特征圖進行卷積操作，得到具有256個通道的特征圖；將具有256個通道的特征圖進行亞像素卷積處理，即對256個通道進行特征重排，得到具有64個通道的特征圖，該特征圖長寬各擴大一倍，特征圖分辨率提升2倍；