[發明專利]一種基于多參考幀的環路濾波方法及電子裝置

有效

• 申請號: 202010042012.6
• 申請日: 2020-01-15
• 公開（公告）號: CN113132729B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 劉家瑛;王德昭;夏思;楊文瀚;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: H04N19/139
• 分類號: H04N19/139;H04N19/82;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種基于多參考幀的環路濾波方法及電子裝置，其步驟包括：將原始幀送入視頻編碼器進行編碼得到當前幀，并獲取所述當前幀的第一參考幀與第二參考幀；計算所述當前幀、所述第一參考幀以及所述第二參考幀兩兩間的光流集合；將所述當前幀、所述第一參考幀、所述第二參考幀以及所述光流集合送入一深度卷積循環神經網絡，得到濾波重建幀。本發明利用空域信息之外，額外使用了時域信息，提出了聯合學習機制，提升了參考幀的質量，在不顯著提升網絡參數量的基礎上，獲得了更好的編碼性能。

技術領域

本發明屬于視頻編碼領域，主要涉及一種基于多參考幀的環路濾波方法及電子裝置。

背景技術

在數字視頻的使用傳播過程中，有損視頻壓縮是一項不可或缺的關鍵技術。有損視頻壓縮通過對視頻進行編碼端的編碼壓縮以及解碼端的解碼恢復，極大地降低了數字視頻在存儲和傳輸過程中的開銷，使得數字視頻在日常生活得以被普遍使用。但是有損視頻壓縮技術在編碼段不可避免地要損失信息，這也造成了解碼視頻質量的下降。

造成視頻質量下降的原因主要有兩點：第一，最新的視頻編碼技術往往把每一幀劃分為大小不同的塊，基于塊來壓縮與編碼。這樣就會導致塊與塊的邊界處像素值會有突變，也就是塊效應。第二，在量化過程中，高頻信息被消除，導致振鈴效應。例如中國專利108134932公開了一種基于卷積神經網絡的視頻編解碼環路內濾波器及其實現方法，其先訓練一卷積神經網絡得到預訓練模型，然后在視頻編解碼環路內對每一個重建幀劃分為若干子圖，將各子圖輸入預訓練模型，輸出一張與輸入圖像大小相同的圖像，根據輸出圖像質量，有選擇地使用輸出圖像替換原圖像。

為了恢復視頻質量，視頻編碼器往往會在反變換后，進行環路濾波，以提高視頻質量。其中，去塊效應模塊對塊與塊的邊界的像素值進行調整，緩解塊效應；樣點自適應補償模塊為視頻幀補充高頻信息，緩解振鈴效應。

受啟發于深度神經網絡技術在圖像處理問題中的成功應用，一些方法在環路濾波中引入了深度神經網絡，并獲得了一定的性能提升。而利用時域信息的神經網絡方法一般利用光流等信息進行由參考幀到當前幀的單向對齊。光流是幀與幀之間像素級運動的估計，可以利用光流獲得兩幀間的運動信息。但是現有技術往往僅僅利用單幀的空域信息，卻忽略了視頻的時域上冗余，忽略了對參考幀的質量提升，從而限制了當前幀的恢復。參考幀的選擇上，以往技術往往只選擇時域上的臨近幀，以保證內容上更為接近。但是編碼器往往無法保證時域上的臨近幀為高質量幀，因此本發明額外引入了時域上最接近的質量峰值幀。

發明內容

為了解決上述問題，本發明公開了一種基于多參考幀的環路濾波方法及電子裝置，基于當前幀以及兩個參考幀，并使用一個深度卷積循環神經網絡，獲取更佳的編碼性能。

一種基于多參考幀的環路濾波方法，其步驟包括：

1)將原始幀送入視頻編碼器進行編碼得到當前幀，并設定時域上與所述當前幀最接近的重建幀為第一參考幀以及最接近的高質量重建幀為第二參考幀；

2)獲取所述當前幀、所述第一參考幀以及所述第二參考幀兩兩間的光流集合；

3)將所述當前幀、所述第一參考幀、所述第二參考幀以及所述光流集合送入一深度卷積循環神經網絡，得到濾波重建幀。

進一步地，通過一預訓練的光流估計神經網絡，獲取所述光流集合。

進一步地，所述深度卷積循環神經網絡為一漸進反思循環神經網絡，其訓練步驟包括：

1)將若干樣本視頻片段送入視頻編碼器中進行編碼，得到若干樣本當前幀，并獲取各所述樣本當前幀對應的樣本第一參考幀與樣本第二參考幀；

2)獲取各所述樣本當前幀與相應的所述樣本第一參考幀和所述樣本第二參考幀兩兩間的樣本光流集合；