[發明專利]超分辨率圖像重建方法及裝置、電子設備及存儲介質

有效

• 申請號: 201810974986.0
• 申請日: 2018-08-24
• 公開（公告）號: CN109118430B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 董超;趙富榮;李嵩;賀岳平;林娟;王甜甜
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及超分辨率圖像重建方法及裝置、電子設備及存儲介質。該方法包括：獲取多幀輸入圖像；對所述多幀輸入圖像進行特征提取，得到所述多幀輸入圖像間的聯合特征圖；基于所述聯合特征圖進行圖像重建，得到所述多幀輸入圖像的目標圖像。本公開通過融合多幀輸入圖像的特征信息，能夠獲取更高質量的高分辨率圖像。

技術領域

本公開涉及計算機視覺技術領域，尤其涉及一種超分辨率圖像重建方法及裝置、電子設備及存儲介質。

背景技術

超分辨率圖像重建是指通過低分辨率圖像得到高分辨率圖像的過程，通常情況下，受限于電子設備的數據采集能力以及流媒體的傳輸帶寬，終端無法直接接收高分辨率的圖像或視頻。因此，如果不進行超分辨率圖像重建，則用戶無法觀看到高清質量的畫面。因此，如何進行超分辨率圖像重建以獲得更高質量的高分辨率圖像是亟待解決的問題。

發明內容

有鑒于此，本公開提出了一種超分辨率圖像重建技術方案。

根據本公開的一方面，提供了超分辨率圖像重建方法，包括：

獲取多幀輸入圖像；

對所述多幀輸入圖像進行特征提取，得到所述多幀輸入圖像間的聯合特征圖；

基于所述聯合特征圖進行圖像重建，得到所述多幀輸入圖像的目標圖像。

在一種可能的實現方式中，所述對所述多幀輸入圖像進行特征提取，得到所述多幀輸入圖像間的聯合特征圖，包括：

對所述多幀輸入圖像進行幀內特征提取，得到與所述多幀輸入圖像對應的多幀幀內特征圖；

對所述多幀幀內特征圖進行幀間特征融合，得到所述多幀輸入圖像間的聯合特征圖。

在一種可能的實現方式中，所述對所述多幀輸入圖像進行幀內特征提取，得到與所述多幀輸入圖像對應的多幀幀內特征圖，包括：

使用多個卷積核對所述多幀輸入圖像中的每幀輸入圖像進行卷積操作，得到與所述每幀輸入圖像對應的多幀幀內特征圖。

在一種可能的實現方式中，所述對所述多幀幀內特征圖進行幀間特征融合，得到所述多幀輸入圖像間的聯合特征圖，包括：

將所述多幀幀內特征圖分為多組，其中，每組幀內特征圖包含每幀輸入圖像的幀內特征圖；

對所述每組幀內特征圖分別進行幀間特征融合，得到所述每組幀內特征圖的聯合特征圖。

在一種可能的實現方式中，所述對所述每組幀內特征圖分別進行幀間特征融合，得到所述每組幀內特征圖的聯合特征圖，包括：

通過卷積神經網絡對所述每組幀內特征圖進行卷積操作，得到所述每組幀內特征圖的聯合特征圖。

在一種可能的實現方式中，在所述基于所述聯合特征圖進行圖像重建，得到所述多幀輸入圖像對應的目標圖像之前，還包括：

對所述聯合特征圖進行多尺度特征編碼，得到多尺度編碼特征圖；

基于所述多尺度編碼特征圖進行圖像重建，得到所述多幀輸入圖像的目標圖像。

在一種可能的實現方式中，所述對所述聯合特征圖進行多尺度特征編碼，得到多尺度編碼特征圖，包括：

基于所述聯合特征圖進行正向操作，得到多個尺度的第一特征圖；

基于所述多個尺度的第一特征圖進行反向操作和疊加處理，得到第二特征圖，其中，所述第二特征圖的尺度與所述聯合特征圖的尺度相同；

將所述第二特征圖確定為所述多尺度編碼特征圖。

在一種可能的實現方式中，所述正向操作包括池化、下采樣和卷積中的至少一種操作。