[發明專利]視頻超分增強方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202110490403.9
• 申請日: 2021-05-06
• 公開（公告）號: CN113225590B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 丘海華;蔣念娟;周昆;江聚勇;陳杰;沈小勇;呂江波
• 申請（專利權）人: 深圳思謀信息科技有限公司;上海思謀科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/234;H04N21/4402;H04N21/44;G06T5/00;G06T3/40
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 魏宇星

本申請涉及一種視頻超分增強方法、裝置、計算機設備和存儲介質。本申請能夠把去壓縮模型和輕量級的超分模型組合起來使用，使得傳統的復雜的超分模型簡化，降低了對硬件算力的要求，并能達到實時增強視頻的需求。該方法包括：將低碼率視頻輸入視頻解碼器中解碼，得到攜帶有壓縮噪聲的第一視頻幀；將第一視頻幀輸入至去壓縮模型中去除壓縮噪聲，得到第二視頻幀；通過梯度算子針對第一視頻幀進行處理，得到梯度圖；以梯度圖中的梯度作為權重，針對第一視頻幀和第二視頻幀進行混合加權運算，得到第三視頻幀；將第三視頻幀輸入預先構建的超分模型中進行處理，得到增強圖片；將低碼率視頻對應的各增強圖片輸入視頻編碼器中編碼，得到增強視頻。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種視頻超分增強方法、裝置、計算機設備和存儲介質。

背景技術

隨著5G通信技術的發展和普及，高清視頻正成為5G應用中典型的落地場景之一。5G通信技術提高了網絡數據傳輸的閾值上限，但由于高清視頻傳輸所需的帶寬仍然偏大，需要使用數字視頻編解碼技術結合各種性能優越的視頻編碼標準針對視頻進行各種編解碼變換，以降低視頻數據傳輸所需要的帶寬，但同時也帶來了視頻壓縮后畫質下降的問題。因此，視頻增強技術作為視頻畫質恢復的關鍵技術，逐漸受到了關注。

目前多使用視頻超分技術對低碼率視頻進行畫質增強，視頻超分技術是一項底層圖像處理任務，是將低分辨率的圖像映射至高分辨率，以期達到增強圖像細節的作用。

但目前的視頻超分技術對硬件算力的要求較高，不能適用于一般的硬件設備上，不是對所有設備都具有普適性。

發明內容

基于此，有必要針對上述技術問題，提供一種視頻超分增強方法、裝置、計算機設備和存儲介質。

一種視頻超分增強方法，所述方法包括：

將低碼率視頻輸入視頻解碼器中解碼，得到攜帶有壓縮噪聲的第一視頻幀；

將所述第一視頻幀輸入至去壓縮模型中去除壓縮噪聲，得到第二視頻幀；

通過梯度算子針對所述第一視頻幀進行處理，得到梯度圖；

以所述梯度圖中的梯度作為權重，針對所述第一視頻幀和所述第二視頻幀進行混合加權運算，得到第三視頻幀；

將所述第三視頻幀輸入預先構建的超分模型中進行處理，得到增強圖片；

將所述低碼率視頻對應的各增強圖片輸入視頻編碼器中編碼，得到增強視頻。

在其中一個實施例中，所述以所述梯度圖中的梯度作為權重，針對所述第一視頻幀和所述第二視頻幀進行混合加權運算，得到第三視頻幀，包括：

獲取所述梯度圖中的梯度矩陣；

對所述梯度矩陣進行歸一化處理，得到歸一化后的梯度矩陣；

使用預設的混合加權公式結合所述歸一化的梯度矩陣對所述第一視頻幀中的像素數值矩陣和所述第二視頻幀中的像素數值矩陣進行運算，得到所述第三視頻幀。

在其中一個實施例中，所述預設的混合加權公式為：

P3＝P1×ω1+P2×(1-ω1)

其中，P3為所述第三視頻幀的像素數值矩陣，P1為所述第一視頻幀的像素數值矩陣，P2為所述第二視頻幀的像素數值矩陣；ω1為歸一化后的梯度矩陣。

在其中一個實施例中，所述將所述第三視頻幀輸入預先構建的超分模型中進行處理，得到增強圖片之前，所述方法包括：

獲取包含多個超分倍數的視頻幀作為訓練樣本；

利用所述訓練樣本對待訓練的超分模型進行訓練，得到所述預先構建的超分模型。