[發(fā)明專利]基于級聯(lián)網(wǎng)絡框架的圖像超分辨率方法、級聯(lián)網(wǎng)絡

在審

• 申請?zhí)枺?/td>: 202010940661.8
• 申請日: 2020-09-09
• 公開（公告）號: CN112116527A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設計）人: 劉慶杰;傅澤華;王蘊紅;劉一郎
• 申請（專利權）人: 北京航空航天大學杭州創(chuàng)新研究院
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京細軟智谷知識產(chǎn)權代理有限責任公司 11471
• 代理人: 岳鳳羽

1.一種用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，包括：基礎超分辨率網(wǎng)絡、細節(jié)精修網(wǎng)絡；所述細節(jié)精修網(wǎng)絡與基礎超分辨率網(wǎng)絡級聯(lián)；

所述基礎超分辨率網(wǎng)絡，用于獲取目標圖像的初步上采樣結果；

所述細節(jié)精修網(wǎng)絡，用于根據(jù)所述初步上采樣結果，獲取超分辨率圖像結果。

2.根據(jù)權利要求1所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，還包括：判別器網(wǎng)絡；所述判別器網(wǎng)絡，用于判別所述超分辨率圖形結果與原始高分辨率圖像的可信程度，根據(jù)所述可信程度進行學習，從而實現(xiàn)與所述細節(jié)精修網(wǎng)絡的對抗式訓練。

3.根據(jù)權利要求1所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述細節(jié)精修網(wǎng)絡，包括：特征提取器子網(wǎng)絡、非線性映射子網(wǎng)絡和重建子網(wǎng)絡；

所述特征提取器子網(wǎng)絡，用于根據(jù)初步上采樣結果，提取粗特征；

所述非線性映射子網(wǎng)絡，用于將所述粗特征，映射到具有高感知效果的特征空間，獲取映射后的圖像特征；

所述重建子網(wǎng)絡，用于根據(jù)所述映射后的圖像特征，重建獲取超分辨率圖像。

4.根據(jù)權利要求3所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述特征提取子網(wǎng)絡，用于：從低分辨率圖像I^l中提取粗特征F_l；所述F_l的提取公式為：

F_l＝H₁(H₀(I^l))

其中，F(xiàn)_l為提取出的粗特征，H₁和H₀分別為卷積層，I^l代表輸入的低分辨率圖像。

5.根據(jù)權利要求3所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述非線性映射子網(wǎng)絡，用于基于密集連接的通道注意力模塊，將特征提取器提取到的粗特征F_l映射到具有高感知效果的特征空間F_P；所述F_P的計算方式為：

F_P＝H_DID(F_L)

其中，F(xiàn)_P是經(jīng)過映射后的圖像特征；H_DID是密集連接的通道注意力模塊。

6.根據(jù)權利要求5所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述H_DID由k個密集連接的卷積組組成，對于不同的升分辨率倍數(shù)，k值不同；所述H_DID的計算方式為：

其中，代表密集連接的通道注意力模塊中第K個卷積組，其中每一個卷積組的輸入都是之前所有卷積組的輸出和原始輸入圖像特征的結合。

7.根據(jù)權利要求1所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述細節(jié)精修網(wǎng)絡，用于：

根據(jù)所述初步上采樣結果，獲取初步超分辨率圖像；

根據(jù)所述初步超分辨率圖像與所述初步上采樣結果相加并平均，獲取所述超分辨率圖像結果。

8.根據(jù)權利要求2所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述判別器網(wǎng)絡為相對判別器網(wǎng)絡；

所述相對判別器網(wǎng)絡，用于接受精修網(wǎng)絡輸出的超分辨率結果和原始的高分辨率圖像，并判斷相較于原始高分辨率圖片，生成圖片的可信程度。

9.根據(jù)權利要求8所述的用于圖像超分辨率的級聯(lián)網(wǎng)絡，其特征在于，所述相對判別器，用于：對真實高分辨率圖像和超分辨率圖像的聯(lián)合判別結果，為：

D_Ra(x_f,x_r)＝δ(C(x_f)-E[C(x_r)])→0；

其中，x_r代表真實高分辨率圖像，x_f代表模型重建出的超分辨率圖像，C為判別器網(wǎng)絡，δ為Sigmod函數(shù)。

10.一種基于級聯(lián)網(wǎng)絡的圖像超分辨率方法，其特征在于，包括：

基于基礎超分辨率網(wǎng)絡，獲取目標圖像的初步上采樣結果；

基于細節(jié)精修網(wǎng)絡，根據(jù)所述初步上采樣結果，獲取超分辨率圖像結果。