[發(fā)明專利]一種基于稠密連接網(wǎng)絡與生成式對抗網(wǎng)絡的圖像超分辨率方法

有效

• 申請?zhí)枺?/td>: 201910033048.5
• 申請日: 2019-01-14
• 公開（公告）號: CN109903223B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設計）人: 祝曉斌;李莊子;張新明;代峰
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于稠密連接網(wǎng)絡與生成式對抗網(wǎng)絡的圖像超分辨率方法，其特征在于：包括以下四個步驟：

第一步，將標簽高分辨率圖像下采樣為低分辨率圖像，輸入低分辨率圖像到生成器中，生成高分辨率圖像；生成的高分辨率圖像與標簽高分辨率圖像計算像素間的均方誤差損失；

第二步，特征提取器提取生成的高分辨率圖像與標簽高分辨率圖像的特征內容，并計算出對應特征圖間的內容損失；

第三步，判別器對生成的高分辨率圖像進行打分，分數(shù)越高表明生成的圖像分布越接近標簽高分辨率圖像并產生基于判別器的對抗損失；

第四步，三種損失函數(shù)按照一定比例結合，優(yōu)化生成器參數(shù)；

所述第一步中：生成器有以下特點：

(1)采用稠密連接網(wǎng)絡結構，其深度超過了100層；

(2)共包含4個跳轉稠密模塊，每個稠密模塊之后設置一個轉換層；

(3)利用反卷積層上采樣；

(4)利用一個輸入通道為256輸出通道為3的卷積層重構RGB顏色圖像；

構建一個稠密連接網(wǎng)絡用于生成器時，采用深度結構保證網(wǎng)絡的數(shù)據(jù)擬合能力，同時為了更容易訓練網(wǎng)絡減輕梯度消失的問題，采用跳轉稠密連接保證不同層級的圖像特征的傳輸，所述稠密連接網(wǎng)絡的網(wǎng)絡模型共包含4個跳轉稠密模塊，每個稠密模塊之后設置一個轉換層，用于特征圖數(shù)量壓縮與更復雜特征映射；每個稠密模塊內分別包含6、12、24、16個3×3的卷積層和1×1的卷積層，每次卷積層后均會產生不同種類的特征圖，這些特征圖又會被輸入到下一個卷積層產生更復雜的特征圖；所述稠密連接網(wǎng)絡采用線性修正單元Relu作為激活函數(shù)；倒數(shù)第二、第三層是反卷積層，用于對特征圖進行放大，最后一層為重構層，重構層將放大后的特征圖恢復成RGB通道的圖像。

2.根據(jù)權利要求1所述的一種基于稠密連接網(wǎng)絡與生成式對抗網(wǎng)絡的圖像超分辨率方法，其特征在于：所述第一步實現(xiàn)如下：

(1)將收集的一些高分辨率圖像隨機裁剪一個120×120大小的正方形區(qū)域；

(2)使用雙三次插值法對裁剪的圖像縮小至原來0.25倍到30×30，作為低分辨率訓練圖像，而縮放前的120×120的作為新的高分辨率圖像用標簽高分辨率圖像。

3.根據(jù)權利要求1所述的一種基于稠密連接網(wǎng)絡與生成式對抗網(wǎng)絡的圖像超分辨率方法，其特征在于：所述跳轉稠密模塊內部的卷積層均采取下列公式的操作，第l層以從1到l-1卷積層產生的特征圖x₀,x₁…,x_l-1作為輸入，其輸出x_l表示為如下公式所示：

x_l＝H_l([x₀,x₁,…,x_l-1])

其中，[x₀,x₁,…,x_l-1]表示矩陣拼接操作，H_l為第l卷積層的運算。