[發明專利]視頻超分增強方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202110490403.9
• 申請日: 2021-05-06
• 公開（公告）號: CN113225590B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 丘海華;蔣念娟;周昆;江聚勇;陳杰;沈小勇;呂江波
• 申請（專利權）人: 深圳思謀信息科技有限公司;上海思謀科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/234;H04N21/4402;H04N21/44;G06T5/00;G06T3/40
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 魏宇星

1.一種視頻超分增強方法，其特征在于，所述方法包括：

將低碼率視頻輸入視頻解碼器中解碼，得到攜帶有壓縮噪聲的第一視頻幀；

將所述第一視頻幀輸入至去壓縮模型中去除壓縮噪聲，得到第二視頻幀；

通過梯度算子針對所述第一視頻幀進行處理，得到梯度圖；

以所述梯度圖中的梯度作為權重，針對所述第一視頻幀和所述第二視頻幀進行混合加權運算，得到第三視頻幀；

將所述第三視頻幀輸入預先構建的超分模型中進行處理，得到增強圖片，所述超分模型用于對低分辨率的圖像進行識別并優化，得到圖像的高頻細節；

將所述低碼率視頻對應的各增強圖片輸入視頻編碼器中編碼，得到增強視頻。

2.根據權利要求1所述的方法，其特征在于，所述以所述梯度圖中的梯度作為權重，針對所述第一視頻幀和所述第二視頻幀進行混合加權運算，得到第三視頻幀，包括：

獲取所述梯度圖中的梯度矩陣；

對所述梯度矩陣進行歸一化處理，得到歸一化后的梯度矩陣；

使用預設的混合加權公式結合所述歸一化的梯度矩陣對所述第一視頻幀中的像素數值矩陣和所述第二視頻幀中的像素數值矩陣進行運算，得到所述第三視頻幀。

3.根據權利要求2所述的方法，其特征在于，所述預設的混合加權公式為：

P3＝P1×ω1+P2×(1-ω1)

其中，P3為所述第三視頻幀的像素數值矩陣，P1為所述第一視頻幀的像素數值矩陣，P2為所述第二視頻幀的像素數值矩陣；ω1為歸一化后的梯度矩陣。

4.根據權利要求1所述的方法，其特征在于，所述將所述第三視頻幀輸入預先構建的超分模型中進行處理，得到增強圖片之前，所述方法包括：

獲取包含多個不同分辨率的視頻幀作為訓練樣本；

利用所述訓練樣本對待訓練的超分模型進行訓練，得到所述預先構建的超分模型。

5.根據權利要求1所述的方法，其特征在于，所述將所述低碼率視頻對應的各增強圖片輸入視頻編碼器中編碼之前，還包括：

對所述各增強圖片進行圖像銳化和色彩增強處理。

6.根據權利要求1至5任意一項所述的方法，其特征在于，所述梯度算子至少包括Roberts算子、Prewitt算子和Sobel算子的其中之一。

7.根據權利要求1至5任意一項所述的方法，其特征在于，所述去壓縮模型是基于低通濾波器構建的；其中低通濾波器包括高斯低通濾波器或者巴特沃斯低通濾波器中的至少一種。

8.一種視頻超分增強裝置，其特征在于，所述裝置包括：

視頻解碼模塊，用于將低碼率視頻輸入視頻解碼器中解碼，得到攜帶有壓縮噪聲的第一視頻幀；

噪聲去除模塊，用于將所述第一視頻幀輸入至去壓縮模型中去除壓縮噪聲，得到第二視頻幀；

梯度計算模塊，用于通過梯度算子針對所述第一視頻幀進行處理，得到梯度圖；

視頻幀加權模塊，用于以所述梯度圖中的梯度作為權重，針對所述第一視頻幀和所述第二視頻幀進行混合加權運算，得到第三視頻幀；

超分處理模塊，用于將所述第三視頻幀輸入預先構建的超分模型中進行處理，得到增強圖片，所述超分模型用于對低分辨率的圖像進行識別并優化，得到圖像的高頻細節；

視頻編碼模塊，用于將所述低碼率視頻對應的各增強圖片輸入視頻編碼器中編碼，得到增強視頻。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。