[發明專利]一種基于多參考幀的環路濾波方法及電子裝置

有效

• 申請號: 202010042012.6
• 申請日: 2020-01-15
• 公開（公告）號: CN113132729B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 劉家瑛;王德昭;夏思;楊文瀚;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: H04N19/139
• 分類號: H04N19/139;H04N19/82;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

1.一種基于多參考幀的環路濾波方法，其步驟包括：

1）將原始幀送入視頻編碼器進行編碼得到當前幀，并設定時域上與所述當前幀最接近的重建幀為第一參考幀以及最接近的高質量重建幀為第二參考幀；

2）獲取所述當前幀、所述第一參考幀以及所述第二參考幀兩兩間的光流集合；

3）將所述當前幀、所述第一參考幀、所述第二參考幀以及所述光流集合送入一漸進反思循環神經網絡，得到濾波重建幀；其中，所述漸進反思循環神經網絡的訓練步驟包括：

3.1）將若干樣本視頻片段送入視頻編碼器中進行編碼，得到若干樣本當前幀，并獲取各所述樣本當前幀對應的樣本第一參考幀與樣本第二參考幀；

3.2）獲取各所述樣本當前幀與相應的所述樣本第一參考幀和所述樣本第二參考幀兩兩間的樣本光流集合；

3.3）使用迭代法，將所述樣本當前幀與相應的所述樣本第一參考幀、所述樣本第二參考幀以及所述樣本光流集合，送入所述漸進反思循環神經網絡進行前向計算，并將獲取的濾波后幀與未編碼幀的均方差收斂反向傳播到神經網絡各層，以更新各層權值，直到所述漸進反思循環神經網絡的均方差收斂；其中，所述將所述樣本當前幀與相應的所述樣本第一參考幀、所述樣本第二參考幀以及所述樣本光流集合，送入所述漸進反思循環神經網絡進行前向計算，包括：

3.31）提取任一樣本當前幀及相應的樣本第一參考幀與樣本第二參考幀的第一淺層特征圖、第二淺層特征圖以及第三淺層特征圖；

3.32）利用樣本第一參考幀到樣本當前幀的第一樣本光流、樣本第二參考幀到樣本當前幀的第二樣本光流，分別將第二淺層特征圖與第三淺層特征圖變形對齊到樣本當前幀，且與第一淺層特征圖通道連接，得到第一變形特征圖；

3.33）利用樣本當前幀到第一參考幀的第三樣本光流、樣本第二參考幀到樣本第一參考幀的第四樣本光流，分別將第一淺層特征圖和第三特征圖變形對齊到樣本第一參考幀，且與第二淺層特征圖通道連接，得到第二變形特征圖；

3.34）利用樣本當前幀到樣本第二參考幀的第五光流、樣本第一參考幀到樣本第二參考幀的第六光流，分別將第一淺層特征圖和第二特征圖變形對齊到樣本第二參考幀，且與第三淺層特征圖通道連接，得到第三變形特征圖；

3.35）將得到的第一變形特征圖、第二變形特征圖以及第三變形特征圖送入連續漸進反思塊中進行深層特征提取與更新，獲取第一更新特征圖、第二更新特征圖以及第三更新特征圖；

3.36）將所述第一更新特征圖作為樣本當前幀的第一淺層特征圖、所述第二更新特征圖作為樣本第一參考幀的第二淺層特征圖以及樣本第二參考幀的第三淺層特征圖；

3.37）重復步驟3.32）-步驟3.36），直到設定時間步長最大值；

3.38）對達到設定時間步長最大值的第一最大特征圖、第二最大特征圖以及第三最大特征圖，使用卷積層進行重建恢復，得到所述濾波后幀。

2.根據權利要求1所述的基于多參考幀的環路濾波方法，其特征在于，通過一預訓練的光流估計神經網絡，獲取所述光流集合。

3.根據權利要求1所述的基于多參考幀的環路濾波方法，其特征在于，使用兩個卷積層組成的淺層特征提取網絡中提取所述第一淺層特征圖、所述第二淺層特征圖以及所述第三淺層特征圖。

4.根據權利要求1所述的基于多參考幀的環路濾波方法，其特征在于，進行重建恢復時，使用全局殘差連接加速收斂。

5.根據權利要求1所述的基于多參考幀的環路濾波方法，其特征在于，將前向傳播輸出的所述濾波重建幀進行樣點自適應補償。

6.一種存儲介質，所述存儲介質中存儲有計算機程序，其中，所述計算機程序執行權利要求1-5中任一方法。

7.一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1-5中任一方法。