[發明專利]一種AV1合成膠片顆粒自適應前處理的方法

有效

• 申請號: 202011166003.4
• 申請日: 2020-10-27
• 公開（公告）號: CN112381744B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 梅元剛;劉文堯;劉宇新;朱政
• 申請（專利權）人: 杭州微幀信息科技有限公司
• 主分類號: G06T5/10
• 分類號: G06T5/10;G06T7/11;G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種AV1合成膠片顆粒自適應前處理的方法，屬于圖像處理技術領域。所述方法為將視頻的圖像幀劃分為圖像塊，通過圖像塊更準確地估計整幀的維納濾波強度。在估計維納濾波強度過程中，先使用圖像塊的膠片顆粒和對應的最佳濾波強度數據集訓練CNN網絡模型。通過CNN網絡模型得到膠片顆粒亮度方差最大以及最小的圖像塊對應的最佳濾波強度。然后利用圖像塊的膠片顆粒亮度方差，擬合方差和最佳維納濾波強度之間的關系。利用方差來快速得到每個圖像塊需要設置的濾波強度。最后得到整幀圖像需要設置的濾波強度。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種AV1合成膠片顆粒自適應前處理的方法。

背景技術

在視頻，特別是影片中加入膠片顆粒可以帶來更好的視覺體驗。圖像系統中，在一定的噪聲強度條件下，膠片顆粒的存在可以使圖像視覺質量達到最佳效果。因此，針對高質量視頻，保留膠片顆粒是有意義的。但是膠片顆粒具有時間和空間上的隨機性，不利于編碼。

為解決膠片顆粒難編碼的問題，AV1提供了膠片顆粒合成標準。其主要思路為，在視頻編碼之前將顆粒從內容中刪除，然后估算其參數并在AV1比特流中發送；在解碼器中，根據接收到的參數合成顆粒，并將其添加到重建的視頻中。如何準確的去除膠片顆粒是高效利用AV1中膠片顆粒合成的主要挑戰之一。AV1先采用維納濾波對視頻進行預處理，去除視頻中的膠片顆粒。目前，維納濾波強度都是通過實驗窮舉的方式確定，嘗試過程耗時耗力；并且整個視頻一般只設置一個維納濾波強度，不能根據視頻內容對每一圖像幀自適應地設置更準確的維納濾波強度。

發明內容

本發明主要提供了一種AV1合成膠片顆粒自適應前處理的算法。本發明的核心是如何準確高效地、自適應地確定維納濾波強度。本發明通過訓練好的CNN網絡模型估計膠片顆粒亮度方差最大和最小的圖像塊的維納濾波強度。然后通過擬合的膠片顆粒亮度方差和維納濾波強度之間的關系估算圖像塊的最佳維納濾波強度。最后通過圖像塊的最佳維納濾波強度估算整幀的最佳維納濾波強度。具體包括如下步驟。

1. 訓練CNN估計圖像塊的維納濾波強度。

（1.1）獲取含有不同膠片顆粒類型和強度的視頻。

（1.2）采用AV1膠片顆粒合成參考模型估計方法得到步驟（1.1）所述視頻的膠片顆粒的類型參數和強度參數，并將兩者隨機組合得到更豐富的膠片顆粒種類（TBLS）。

（1.3）獲取無噪聲的圖像塊（塊大小為240×240）集合E，分別加入步驟（1.2）所述的膠片顆粒，得到帶膠片顆粒的圖像塊集合E'。

（1.4）采用不同強度（細分為15個等級nl）的維納濾波，對進行E濾波，得到去除膠片顆粒的圖像塊集合E''：

factor=nl*0.5

kBlockSize=32

濾波強度=(factor*factor/10000)*kBlockSize*kBlockSize/8，

其中，factor表示等級系數，kBlockSize表示維納濾波塊的大小。

（1.5）將步驟（1.4）中得到的圖像塊E''與無噪聲的圖像塊E進行psnr評價，得到膠片顆粒和最佳濾波強度（psnr最小時對應的濾波強度為最佳濾波強度）的數據對：

其中，grain表示圖像塊的膠片顆粒，wiener表示該圖像塊的最佳濾波強度。

（1.6）將步驟（1.5）中所述的數據對輸入CNN模型進行訓練，得到圖像塊維納濾波強度估計網絡模型。

2. 擬合維納濾波強度與膠片顆粒亮度方差之間的關系。

（2.1）計算各圖像塊的膠片顆粒亮度方差。