[發明專利]視頻增強方法、裝置、解碼方法、解碼器及電子設備

有效

• 申請號: 202210035811.X
• 申請日: 2022-01-13
• 公開（公告）號: CN114071167B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 施曉迪;粘春湄;方瑞東;江東;林聚財;殷俊
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: H04N19/85
• 分類號: H04N19/85;G06T7/38;G06T5/50
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張愷寧

本發明公開了視頻增強方法、裝置、解碼方法、解碼器及電子設備，首先對視頻序列中的第一圖像及與第一圖像相鄰的第二圖像進行非局部預融合處理，得到第一圖像對應的預融合圖像。其次根據第一圖像和相鄰的第二圖像確定光流信息，根據光流信息、預融合圖像和相鄰的第二圖像對應的預增強圖像，確定第一圖像對應的對齊幀特征圖，對對齊幀特征圖和預融合圖像進行卷積融合，得到第一圖像對應的預增強圖像。最后將預融合圖像和預增強圖像進行信息聚合處理，得到第一圖像對應的增強幀圖像。本從不同維度對第一圖像進行逐步增強，降低一步式增強任務難度，對于大運動及運動復雜的場景適應性較好，能夠得到準確的視頻增強結果。

技術領域

本發明涉及視頻處理技術領域，尤其涉及視頻增強方法、裝置、解碼方法、解碼器及電子設備。

背景技術

近幾年，互聯網的視頻流越來越流行，其對高質量和高分辨率視頻的期望和需求也日益增長。實際上，數字視頻的數據量極大，對存儲空間要求高，同時不便于在帶寬有限的網絡中傳輸。通常，視頻數據之間存在很高的相關性，即冗余信息。為突破存儲空間和傳輸帶寬的限制，視頻壓縮技術被提出并得到快速發展。該技術的核心在于通過移除視頻數據中的冗余信息，提煉出緊湊的視頻數據表示來達到數據壓縮的目的，從而減少比特率，便于高質量和高分辨率視頻的存儲和傳輸。然而，視頻在壓縮過程中將不可避免地發生失真，如塊效應、振鈴效應和畫質模糊等，嚴重影響用戶的主觀體驗。因此，在視頻壓縮的解碼端，需要對壓縮后的視頻進行視頻增強，以改善視頻質量。具體的，在解碼端內置一個針對有損壓縮視頻的質量增強模塊，對低質量的壓縮視頻進行后處理，提高其客觀和感知質量。

和圖像增強任務相比，視頻增強任務的挑戰在于，如何有效利用幀間的時序信息指導當前幀的信息重構。根據幀間信息利用方式的不同（是否進行幀對齊），現有壓縮視頻增強方法可分為對齊方法和非對齊方法。這里，幀對齊（inter-frame alignment）技術指的是，基于運動信息，將參考幀中對應于當前幀的像素扭曲回當前幀中的對應位置，有助于改善當前幀細節模糊、質量較差的問題。非對齊方法沒有對視頻幀進行直接或間接的對齊，而是利用3D卷積、循環卷積或非局部網絡等方法捕捉幀間的時空域相關性。大多數該類非對齊方法的計算復雜度很高，訓練難度大，限制了其實用性。對齊的增強方法主要是基于提取的運動信息，將前后幀對齊到當前幀，減少幀間偏差，以提高恢復后視頻的時域連貫性。

相關技術中，一般是直接由卷積層從當前幀和參考幀的級聯結果中學習得到偏置，進而根據偏置實現視頻增強。然而，直接由卷積層從當前幀和參考幀的級聯結果中學習得到偏置的難度很大，尤其對于大運動及運動復雜的場景適應性較差，無法得到準確的視頻增強結果。

發明內容

本發明實施例提供了視頻增強方法、裝置、解碼方法、解碼器及電子設備，用以解決現有技術視頻增強的方案難度較大，對于大運動及運動復雜的場景適應性較差，無法得到準確的視頻增強結果的問題。

本發明實施例提供了一種視頻增強方法，所述方法包括：

獲取待增強的視頻序列，針對所述視頻序列中的每幀第一圖像，對所述第一圖像及與所述第一圖像相鄰的第二圖像進行非局部預融合處理，得到所述第一圖像對應的預融合圖像；

根據所述第一圖像和相鄰的第二圖像確定光流信息，根據所述光流信息、所述預融合圖像和所述相鄰的第二圖像對應的預增強圖像，將所述相鄰的第二圖像對齊到所述第一圖像，得到所述第一圖像對應的對齊幀特征圖，對所述對齊幀特征圖和所述預融合圖像進行卷積融合，得到所述第一圖像對應的預增強圖像；

將所述預融合圖像和所述預增強圖像進行信息聚合處理，得到所述第一圖像對應的增強幀圖像。

進一步地，所述對所述第一圖像及與所述第一圖像相鄰的第二圖像進行非局部預融合處理，得到所述第一圖像對應的預融合圖像包括：

對所述第一圖像進行特征提取，得到對應的第一特征圖；對所述第二圖像進行特征提取，得到對應的第二特征圖；