[發明專利]一種基于SwinTransformer的去馬賽克重建彩色圖像的方法

在審

• 申請號: 202211347627.5
• 申請日: 2022-10-31
• 公開（公告）號: CN115601240A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 牛硯;張立雪;車翔玖
• 申請（專利權）人: 吉林大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 李斌

本發明適用于圖像處理和深度學習領域，提供了一種基于SwinTransformer的去馬賽克重建彩色圖像的方法，包括以下步驟：1）構建數據集；2）采用基于SwinTransformer的圖像恢復網絡SwinIR，構建去馬賽克模型；3）訓練去馬賽克模型；4）測試得到的去馬賽克網絡模型的性能。本發明提供了一種基于Swin Transformer的自注意力機制能夠從Bayer圖像重建RGB圖像，對比卷積神經網絡(CNN)的靜態權重以及長程依賴，好處在于能夠擴大感受野，注意到全局上下文的特征，對于紋理邊緣細節也有更好的重建效果。

技術領域

本發明屬于圖像處理和深度學習領域，尤其涉及一種基于SwinTransformer的去馬賽克重建彩色圖像的方法。

背景技術

數字彩色圖像通常在每個像素位置由三個顏色值表示，計算機圖像通常使用三種原色，即紅色(R)，綠色(G)和藍色(B)。最初，光電傳感器只能夠對光的強度進行標記，而無法準確記錄光的波長，即無法分辨光的顏色，只能拍黑白數碼照片。而通過濾波陣列可以有效濾除或減小其他顏色的光對照片的影響，在每個像素位置上分別裝配上紅色，綠色和藍色這三種顏色的濾鏡，就可以得到這三種光的強度。大多數現代數碼相機利用濾波陣列，使得每個像素位置只記錄一個顏色通道(紅色、綠色或藍色)。彩色濾波陣列(ColorfilterArray，簡稱CFA)是數字成像設備的一個關鍵組成部件，是疊加在像素傳感器上方的一層馬賽克覆層，可以用它進行單色傳感器的圖像色彩信息采集。

通過引入濾波陣列來克服多傳感器的昂貴花銷問題以使用一個傳感器完全捕獲彩色圖像。這意味著數碼相機必須能夠估算每個像素位置處缺少的兩個顏色值才可以輸出彩色圖片，這樣的重建彩色圖像過程被稱為去馬賽克(Demosaicing)。為了恢復丟失的像素，提出了圖像去馬賽克模型，以從單通道馬賽克圖像重建全彩圖像。去馬賽克是數碼相機成像的關鍵步驟，圖像處理中的重要領域。去馬賽克位于數字成像管道的開始，它將對所得到彩色圖像的質量產生至關重要的影響。去馬賽克過程的失誤可能會顯著削弱整個圖像質量。

在過去的幾十年里，通過插值進行去馬賽克得到了很好的研究，這些先驗信息大多是經過手工制作的，在一些特定的情況下會造成不自然的視覺假象，它們也常常不夠精確，也無法再現復雜的圖像局部結構。

近年來，深度學習取得了令人驚嘆的成就，目前在去馬賽克問題上，大多數都是基于CNN的架構設計，在模型上進行巧妙地設計增大網絡深度以提升性能。如圖像分類、目標檢測和圖像去馬賽克重建等各種高層次和低級別的視覺任務，深度學習的效果都大大地超越了傳統方法。但使用CNN也會不可避免的面對兩個問題：卷積神經網絡的靜態權重，使用相同的卷積核來恢復不同的圖像區域可能不是最佳選擇；以及由于CNN更關注局部特征，所以卷積對于長程依賴性、全局的特征建模時效果不好。

發明內容

本發明的目的在于提供一種基于SwinTransformer的去馬賽克重建彩色圖像的方法，旨在解決背景技術中提到的問題。

本發明是這樣實現的，一種基于SwinTransformer的去馬賽克重建彩色圖像的方法，包括以下步驟：

1)構建數據集：

所述數據集包括訓練集、驗證集和測試集，使用DIV2K和Flickr2K作為訓練集，首先將圖片裁剪成128×128像素的小圖像用于訓練，通過隨機旋轉90°、180°、270°和水平翻轉來增強訓練圖像；

使用常用的數據集Urban100、McMaster、Kodak24以及BSD68作為測試集；

對訓練集和測試集都進行預處理，對原始全彩RGB圖像提取“RGGB”Bayer模式，重排為四個子圖形式輸入網絡結構中；

2)采用基于SwinTransformer的圖像恢復網絡SwinIR，構建去馬賽克模型：

SwinIR由淺層特征提取、深度特征提取和高質量的圖像重建三部分組成；