[發(fā)明專利]面向監(jiān)控場景的圖像超分辨率方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011579005.6
• 申請日: 2020-12-28
• 公開（公告）號: CN112598579A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計）人: 胡旭陽;姚佳麗;李瑮
• 申請（專利權(quán)）人: 蘇州科達特種視訊有限公司;蘇州科達科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州謹和知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32295
• 代理人: 葉棟

1.一種面向監(jiān)控場景的圖像超分辨率方法，其特征在于，所述方法包括：

獲取待還原的目標低分辨率圖像；

將所述目標低分辨率圖像輸入預(yù)先訓(xùn)練的特征映射網(wǎng)絡(luò)，得到位于目標特征空間的高維特征；其中，所述特征映射網(wǎng)絡(luò)使用第一訓(xùn)練數(shù)據(jù)訓(xùn)練得到；所述第一訓(xùn)練數(shù)據(jù)包括第一低分辨率圖像和第二低分辨率圖像；所述第一低分辨率圖像是基于高分辨率圖像合成得到的低分辨率圖像；所述第二低分辨率圖像是對實際場景進行采集得到的低分辨率圖像；

將所述目標低分辨率圖像和所述高維特征輸入預(yù)先訓(xùn)練的圖像重構(gòu)網(wǎng)絡(luò)，得到所述目標低分辨率圖像對應(yīng)的高分辨率圖像；所述圖像重構(gòu)網(wǎng)絡(luò)使用第二訓(xùn)練數(shù)據(jù)訓(xùn)練得到，所述第二訓(xùn)練數(shù)據(jù)包括高分辨率圖像、所述高分辨率圖像對應(yīng)的第一低分辨率圖像、以及將所述第一低分辨率圖像輸入所述特征映射網(wǎng)絡(luò)后得到的輸出結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特征映射網(wǎng)絡(luò)的訓(xùn)練過程，包括：

將所述第一訓(xùn)練數(shù)據(jù)輸入預(yù)設(shè)的初始網(wǎng)絡(luò)模型；所述初始網(wǎng)絡(luò)模型用于學(xué)習(xí)所述第一訓(xùn)練數(shù)據(jù)的空間表征；

使用第一損失函數(shù)對所述初始網(wǎng)絡(luò)模型進行訓(xùn)練，并對所述第一訓(xùn)練數(shù)據(jù)的圖像特征進行特征空間的約束，以使所述第一訓(xùn)練數(shù)據(jù)中各個圖像的圖像特征均映射至所述目標特征空間，得到所述特征映射網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述初始網(wǎng)絡(luò)模型為基于共享參數(shù)的變分自編碼器模型。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一損失函數(shù)包括L₁損失函數(shù)和對抗損失函數(shù)，所述對抗損失函數(shù)用于約束圖像特征的特征空間；所述L₁損失函數(shù)用于縮小模型估計結(jié)果與真實結(jié)果之間的差異。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像重構(gòu)網(wǎng)絡(luò)包括與所述特征映射網(wǎng)絡(luò)相連的特征融合層，所述特征融合層用于將所述圖像特征與所述高維特征進行融合。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述圖像特征與所述高維特征進行融合，包括：

對所述圖像特征和所述高維特征進行拼接，得到拼接特征；

對所述拼接特征通過預(yù)設(shè)尺寸的卷積層進行融合，得到所述融合特征。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述圖像重構(gòu)網(wǎng)絡(luò)還包括位于所述特征融合層之前的淺層特征提取層、位于所述特征融合層之后的深度特征提取層、上采樣層和重建層；

所述淺層特征提取層用于提取所述目標低分辨率圖像的淺層特征；

所述特征融合層用于將所述淺層特征和所述高維特征融合，得到所述融合特征；

所述深度特征提取層用于提取所述融合特征的深度特征；

所述上采樣層用于提升所述深度特征的分辨率，得到高分辨率特征圖；

所述重建層用于對所述高分辨率特征圖進行恢復(fù)，得到所述高分辨率圖像。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述深度特征提取層基于注意力Attention機制對所述融合特征中的各個通道賦予不同的權(quán)重，以提取所述高分辨率特征。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像重構(gòu)網(wǎng)絡(luò)的訓(xùn)練過程包括：

將所述第二訓(xùn)練數(shù)據(jù)輸入預(yù)設(shè)的超分辨率網(wǎng)絡(luò)模型；

使用第二損失函數(shù)對所述超分辨率網(wǎng)絡(luò)模型進行訓(xùn)練，得到所述圖像重構(gòu)網(wǎng)絡(luò)；所述第二損失函數(shù)包括L₁損失函數(shù)和感知損失函數(shù)，所述感知損失函數(shù)用于提升模型估計結(jié)果與真實結(jié)果之間的語義相似度；所述L₁損失函數(shù)用于縮小模型估計結(jié)果與真實結(jié)果之間的差異。

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一低分辨率圖像是將相應(yīng)的第二低分辨率圖像與預(yù)先提取的低質(zhì)量特征合成得到的；所述低質(zhì)量特征是從多張第二低分辨率圖像中提取得到的圖像特征。