[發明專利]面向監控場景的圖像超分辨率方法、裝置及存儲介質

在審

• 申請號: 202011579005.6
• 申請日: 2020-12-28
• 公開（公告）號: CN112598579A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 胡旭陽;姚佳麗;李瑮
• 申請（專利權）人: 蘇州科達特種視訊有限公司;蘇州科達科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州謹和知識產權代理事務所(特殊普通合伙) 32295
• 代理人: 葉棟

本申請涉及一種面向監控場景的圖像超分辨率方法、裝置及存儲介質，屬于圖像處理技術領域，該方法包括：將目標低分辨率圖像輸入預先訓練的特征映射網絡，得到位于目標特征空間的高維特征；將目標低分辨率圖像和高維特征輸入預先訓練的圖像重構網絡，得到高分辨率圖像；可以解決現有的基于深度學習的圖像超分辨率方法合成的低分辨率圖像與真實的低分辨率圖像存在差異，泛化性較差的問題；特征映射網絡預先學習特征映射關系；結合特征映射網絡后得到的輸出結果訓練圖像重構網絡，進一步縮小了合成與真實低分辨率圖像間的域差異，提高圖像重構效果。

技術領域

本申請涉及一種面向監控場景的圖像超分辨率方法、裝置及存儲介質，屬于圖像處理技術領域。

背景技術

圖像超分辨率(Image Super Resolution)技術是指將低分辨率圖像恢復出高分辨率圖像的技術。

隨著卷積神經網絡(Convolutional Nearul Network，CNN)和生成對抗網絡(Generative Adversarial Network，GAN)在像素級圖像處理領域的發展，基于學習的圖像超分辨率方法層出不窮。比如：使用超分辨率卷積網絡(Super Resolution ConvolutionalNetwork，SRCNN)的圖像超分辨率的方法；或者，使用超分辨率生成對抗網絡(SuperResolution Generative Adversarial Network，SRGAN)的圖像超分辨率的方法；或者，使用用于單一圖像超分辨率的增強型深度殘差網絡的(Enhanced Deep Residual Networksfor Single Image Super-Resolution，EDSR)圖像超分辨率方法等。

在基于學習的圖像超分辨率方法中，需要使用低分辨率圖像和高分辨率圖像構成的圖像對來訓練網絡模型。其中，每對圖像對中的低分辨率圖像是對該圖像對中的高分辨率圖像進行行雙線性下采樣得到的。

然而，使用上述方式獲取到的低分辨率圖像，具有較低的泛化性能，與實際場景采集的低分辨率圖像具有差異。此時，會導致使用圖像對訓練得到的網絡模型的高分辨率圖像重構效果較差的問題。

發明內容

本申請提供了一種面向監控場景的圖像超分辨率方法、裝置及存儲介質，可以解決現有的基于深度學習的圖像超分辨率方法合成的低分辨率圖像與真實的低分辨率圖像存在差異，泛化性較差的問題。本申請提供如下技術方案：

第一方面，提供了一種面向監控場景的圖像超分辨率方法，所述方法包括：

獲取待還原的目標低分辨率圖像；

將所述目標低分辨率圖像輸入預先訓練的特征映射網絡，得到位于目標特征空間的高維特征；其中，所述特征映射網絡使用第一訓練數據訓練得到；所述第一訓練數據包括第一低分辨率圖像和第二低分辨率圖像；所述第一低分辨率圖像是基于高分辨率圖像合成得到的低分辨率圖像；所述第二低分辨率圖像是對實際場景進行采集得到的低分辨率圖像；

將所述目標低分辨率圖像和所述高維特征輸入預先訓練的圖像重構網絡，得到所述目標低分辨率圖像對應的高分辨率圖像；所述圖像重構網絡使用第二訓練數據訓練得到，所述第二訓練數據包括高分辨率圖像、所述高分辨率圖像對應的第一低分辨率圖像、以及將所述第一低分辨率圖像輸入所述特征映射網絡后得到的輸出結果。

可選地，所述特征映射網絡的訓練過程，包括：

將所述第一訓練數據輸入預設的初始網絡模型；所述初始網絡模型用于學習所述第一訓練數據的空間表征；

使用第一損失函數對所述初始網絡模型進行訓練，并對所述第一訓練數據的圖像特征進行特征空間的約束，以使所述第一訓練數據中各個圖像的圖像特征均映射至所述目標特征空間，得到所述特征映射網絡。

可選地，所述初始網絡模型為基于共享參數的變分自編碼器模型。