[發明專利]一種基于SwinTransformer的去馬賽克重建彩色圖像的方法

在審

• 申請號: 202211347627.5
• 申請日: 2022-10-31
• 公開（公告）號: CN115601240A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 牛硯;張立雪;車翔玖
• 申請（專利權）人: 吉林大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 李斌

1.一種基于SwinTransformer的去馬賽克重建彩色圖像的方法，其特征在于，包括以下步驟：

1)構建數據集：

所述數據集包括訓練集、驗證集和測試集，使用DIV2K和Flickr2K作為訓練集，首先將圖片裁剪成128×128像素的小圖像用于訓練，通過隨機旋轉90°、180°、270°和水平翻轉來增強訓練圖像；

使用常用的數據集Urban100、McMaster、Kodak24以及BSD68作為測試集；

對訓練集和測試集都進行預處理，對原始全彩RGB圖像提取“RGGB”Bayer模式，重排為四個子圖形式輸入網絡結構中；

2)采用基于SwinTransformer的圖像恢復網絡SwinIR，構建去馬賽克模型：

SwinIR由淺層特征提取、深度特征提取和高質量的圖像重建三部分組成；

淺層特征提取模塊采用一個3×3卷積層提取到96個淺層特征圖，并將淺層特征直接傳輸到重構模塊，以殘差形式連接，保留低頻信息；

深層特征提取模塊主要由4個RSTB和1個3×3卷積層組成，每個RSTB殘差塊利用6個STL和一個3×3卷積層共同構成，進行局部注意力和交叉窗口的交互，其中特征圖數量保持96不變，每個STL使用SwinTransformer結構；

高質量圖像重建模塊，由一層3×3卷積和PixelShuffle上采樣組成，融合了淺層和深層特征用來恢復高質量的圖像；

3)訓練去馬賽克模型：

將步驟1)處理好的訓練集數據輸入到步驟2)構建的去馬賽克模型中，所述去馬賽克模型每次隨機批處理一部分圖像進行學習，訓練過程利用Adam優化器進行優化；

4)測試得到的去馬賽克網絡模型的性能：

將步驟1)處理好的測試集數據輸入到步驟3)訓練好的去馬賽克模型中，輸出的圖像就是重建的全彩色去馬賽克圖像；

再通過計算去馬賽克后的輸出圖像與原始圖像之間的峰值信噪比、結構相似度和圖像感知相似度，其結果可作為客觀評價指標來衡量去馬賽克效果。

2.根據權利要求1所述的基于SwinTransformer的去馬賽克重建彩色圖像的方法，其特征在于，所述DIV2K包括800張用于訓練的圖像，所述Flickr2K包含2650張用于訓練的圖像。

3.根據權利要求1所述的基于SwinTransformer的去馬賽克重建彩色圖像的方法，其特征在于，所述Urban100由100張圖像組成，圖像分辨率均不一致；

所述McMaster由18張圖像組成，分辨率為500×500；

所述Kodak24由24張圖像組成，分辨率為768×512；

所述BSD68由68張圖像組成，分辨率為481×321。

4.根據權利要求2所述的基于SwinTransformer的去馬賽克重建彩色圖像的方法，其特征在于，所述SwinTransformer結構包括第一層LayerNorm以及滑動窗口注意力，經殘差連接后再一層LayerNorm，之后輸入到MLP中。

5.根據權利要求4所述的基于SwinTransformer的去馬賽克重建彩色圖像的方法，其特征在于，所述MLP包含第一個線性層，激活函數和第二個線性層。

6.根據權利要求1所述的基于SwinTransformer的去馬賽克重建彩色圖像的方法，其特征在于，所述步驟3)中利用Adam優化器進行優化的參數分別為：β₁和β₂的默認值分別設置為0.9和0.999，使用StepLR調整學習率，學習率初始化為10^-4，設置step_size為50，gamma為0.1，訓練過程為20個epoch。