[發明專利]一種針對實時視頻流的圖像超分辨率重建方法、裝置

在審

• 申請號: 202110204904.6
• 申請日: 2021-02-25
• 公開（公告）號: CN112785506A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京中科深智科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種針對實時視頻流的圖像超分辨率重建方法、裝置，其中方法包括：獲取視頻幀圖像，并提取視頻幀圖像的亮度通道圖像、藍色通道圖像和紅色通道圖像；將提取到的關聯視頻幀圖像的亮度通道圖像作為圖像超分辨率重建模型的輸入，模型輸出預測到的關聯視頻幀圖像的高分辨率圖像；將關聯視頻幀圖像的高分辨率圖像與提取的關聯同張視頻幀圖像的藍色通道圖像和紅色通道圖像進行圖像合并，然后將合并圖像轉換為RGB顏色空間下的超分辨率圖像。本發明提供的圖像超分辨率重建方法原理簡單，重建速度快，經實驗表明，能夠完全適用對視頻流的圖像超分辨率重建，而且重建的超分辨率圖像清晰、視覺感佳。

技術領域

本發明涉及圖像重建技術領域，具體涉及一種針對實時視頻流的圖像超分辨率重建方法、裝置。

背景技術

圖像超分辨率(Super Resolution，SR)重建旨在通過輸入一幅或多幅低分辨率圖像重建出包含豐富細節的高分辨率圖像，在監控設備、衛星圖像和醫學影像等領域都有重要的應用價值。通過超分辨率重建我們可以讓單張或多張不清晰的圖片變得清晰。

目前，對于圖像超分辨率重建技術的研究多集中在針對單圖像的超分辨率重建(Signal Image Super Resolution，SISR)，即利用一幅圖像中包含的豐富信息以及從樣本圖像中的視覺先驗，識別重要的視覺線索，以填充圖像細節。傳統的SISR方法是基于經驗算法實現，容易遺忘大量的圖像高頻信息且在圖像重建過程中需要一定量的人為干預，重建效果也不夠理想，與實際應用要求有著較大差距。

為了克服傳統SISR方法存在的缺陷，近些年，不少學者將深度學習技術引入到圖像超分辨率重建中，比如某學者提出的超分辨率卷積神經網絡使用三層卷積網絡首次將深度學習運用到圖像超分辨率重建中，網絡以端到端的方式學習從LR(低分辨率圖像)到HR(高分辨率圖像)的映射，不需要傳統SISR方法中的任何工程特性，并且獲得了比傳統方法更先進的性能。

但傳統的SISR方法重建圖像耗時較長，無法適用對視頻流的實時圖像超分辨率重建需求。現有的基于深度學習的圖像超分辨率重建方法大多存在重建圖像模糊、噪聲量大、視覺感差等問題，而且重建過程復雜，同樣難以適應視頻流的實時圖像超分辨率重建需求。

發明內容

本發明以實現對視頻流的實時圖像超分辨率重建為目的，提供了一種針對實時視頻流的圖像超分辨率重建方法、裝置。

為達此目的，本發明采用以下技術方案：

提供一種針對實時視頻流的圖像超分辨率重建方法，具體包括如下步驟：

1)對作為訓練樣本的原始高分辨率圖像X進行圖像預處理，得到所述原始高分辨率圖像X對應的亮度通道圖像X_y和多通道圖像Y_mc；

2)將每張所述亮度通道圖像X_y和其對應的所述多通道圖像Y_mc生成為訓練集；

3)將所述訓練集中的所述多通道圖像Y_mc輸入到一神經網絡中，網絡預測輸出高分辨率圖像

4)根據關聯同張所述原始高分辨率圖像X的所述亮度通道圖像X_y和所述高分辨率圖像的圖像差異，計算所述神經網絡的預測損失，并根據損失結果調整所述神經網絡的網絡參數；

5)重復步驟1)-3)，直至所述神經網絡的預測損失值小于一預設閾值后，完成對神經網絡模型的迭代訓練，最終訓練形成一圖像超分辨率重建模型；

6)獲取視頻幀圖像，并提取所述視頻幀圖像的所述亮度通道圖像X_y、藍色通道圖像C_b和紅色通道圖像C_r；