[發明專利]一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法

有效

• 申請號: 201810473375.8
• 申請日: 2018-05-17
• 公開（公告）號: CN108734659B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 鄒臘梅;李長峰;羅鳴;陳婷;熊紫華;李曉光;張松偉;楊衛東
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;曹葆青

1.一種基于多尺度標簽的亞像素卷積圖像超分辨率重建方法，其特征在于，包括如下步驟：

(1)對輸入低分辨率圖像進行通道分解后獲得Y通道圖像、Cb通道圖像和Cr通道圖像；

(2)分別對所述Cb通道圖像和所述Cr通道圖像進行重建后獲得Cb通道重建高分辨率圖像和Cr通道重建高分辨率圖像；

(3)使用訓練好的基于多尺度標簽的亞像素卷積網絡實現對所述Y通道圖像的超分辨率重建；步驟(3)具體為：

(3.1)對Y通道圖像進行特征提取后獲得初級特征圖；

(3.2)對初級特征圖進一步提取圖像特征得到高級特征圖；

(3.3)對高級特征圖進行上采樣處理；

(3.4)對經過上采樣處理后的高級特征圖進行重建，得到2倍超分辨率重建結果；

(3.5)對分辨率提升一倍后的高級特征圖進行殘差模塊處理后獲得高級殘差特征圖；

(3.6)使用256個大小為(2n-1)×(2n-1)的卷積模板對步驟(3.1)得到的初級特征圖進行卷積操作，得到具有256個通道的特征圖；將具有256個通道的特征圖進行亞像素卷積處理，即對256個通道進行特征重排，得到具有64個通道的特征圖，該特征圖長寬各擴大一倍，特征圖分辨率提升2倍；

(3.7)將步驟(3.6)中得到的具有64個通道的特征圖與步驟(3.5)得到的高級殘差特征圖進行融合，并將融合后的特征圖進行上采樣處理，實現對所述Y通道圖像的超分辨率重建；

步驟(3)中，所述亞像素卷積網絡采用多尺度標簽監督訓練方法進行訓練，具體為：

經過第一個重建結構所得到的2倍超分辨率重建圖像，使用2倍標簽進行監督訓練，該部分監督訓練過程主要作用于網絡的前半部分，可以輔助整體網絡的訓練，進而實現多尺度標簽訓練；

經過第二個重建結構所得到的4倍超分辨率重建圖像，使用4倍標簽進行監督訓練，該部分作為整體網絡的主要監督訓練標準，作用于整個網絡；

(4)對Cb通道重建高分辨率圖像、Cr通道重建高分辨率圖像以及重建后的Y通道圖像進行融合處理，獲得基于多尺度標簽的亞像素卷積圖像超分辨率圖像。

2.如權利要求1所述的亞像素卷積圖像超分辨率重建方法，其特征在于，步驟(3.1)中所述初級特征圖是指低分辨率圖像經過特征提取結構提取特征后所得到的與輸入圖像有相同大小、具有64個通道的特征圖。

3.如權利要求1或2所述的亞像素卷積圖像超分辨率重建方法，其特征在于，在步驟(3.1)中，采用卷積的方式對Y通道圖像進行特征提取，具體包括：

使用64個大小為(2n-1)×(2n-1)的卷積模板在低分辨率圖像上進行步長為1的卷積操作，并對輸入圖像的邊緣用0進行填充后再使用PReLu函數進行非線性激活后獲得初級特征圖；

其中，n為卷積核大小；PReLu函數為：x_i為激活函數輸入，α為經過訓練的參數。

4.如權利要求1所述的亞像素卷積圖像超分辨率重建方法，其特征在于，步驟(3.2)中所述高級特征圖是指初級特征圖經由殘差模塊處理后得到的與原圖像有相同大小具有64個通道的特征圖。

5.如權利要求1所述的亞像素卷積圖像超分辨率重建方法，其特征在于，步驟(3.3)具體為：

使用256個大小為(2n-1)×(2n-1)的卷積模板對高級特征圖進行卷積操作，將高級特征圖的通道個數調整為256個，并將高級特征圖的256個通道中每4個相鄰的通道分為1組，共計64組；

每組特征圖通道相同位置上的像素值按照通道順序進行重新排列，即將每組內的4幅特征圖融合為1張特征圖，高級特征圖的長寬分別變為原來的2倍；通道個數減少為先前的四分之一變為64個，高級特征圖的分辨率提升了一倍。

6.如權利要求1所述的亞像素卷積圖像超分辨率重建方法，其特征在于，步驟(3.5)具體為：采用3個大小為(2n-1)×(2n-1)的卷積模板對分辨率提升一倍后的高級特征圖進行卷積操作，得到Y通道的2倍超分辨率重建結果。