[發明專利]基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法

在審

• 申請號: 202110036699.7
• 申請日: 2021-01-12
• 公開（公告）號: CN112866591A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 謝軍偉;陳弘林;李茹;羅鳴;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: H04N5/357
• 分類號: H04N5/357;H04N5/911
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，包括以下步驟：

步驟S1：采集彩色視頻圖像作為目標視頻集，并進行退化處理，得到對應的退化視頻集；

步驟S2：對兩個視頻集進行抽取yuv視頻幀，得到yuv視頻幀圖像，并預處理，得到高清圖像數據集和退化圖像數據集，作為訓練數據集；

步驟S3：將訓練數據集裁剪為圖像塊；

步驟S4：構建圖像噪聲掩碼生成網絡，并獲取圖像噪聲的掩碼；

步驟S5：構建視頻圖像去噪網絡，并基于高清圖像、退化圖像和圖像噪聲的掩碼訓練，得到去噪結果。

2.根據權利要求1所述的基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，所述步驟S1具體為：

步驟S11：采集彩色視頻圖像作為目標視頻集；

步驟S12：進行退化處理，增加ISO噪聲、椒鹽噪聲、壓縮噪聲得到對應的包含噪聲的退化視頻集。

3.根據權利要求1所述的基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，所述步驟S2具體為：

步驟S21：對兩個視頻集進行抽取yuv視頻幀，得到yuv視頻幀圖像；

步驟S22：對得到的得到yuv視頻幀圖像進行隨機旋轉和翻轉，得到增廣幀數據，并以匹配數據對的方式進行存儲，作為深度學習的訓練數據集。

4.根據權利要求1所述的基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，所述圖像噪聲掩碼生成網絡基于U-net[3]的結構，核心網絡中特征提取階段由16個卷積模塊組成，每個卷積模塊包括一個卷積層，和一個ReLU激活函數，其中一個大卷積塊的計算公式是：

F_n＝R{W_n*F_n-1+B_n} (1)

其中R表示非線性激活函數Relu，W_n，B_n分別表示特征提取階段中卷積層的權重和偏置，F_n-1表示上一次卷積輸出的特征圖，F_n表示當前卷積模塊提取的特征；

經過16個卷積模塊之后，噪聲檢測網絡最終輸出為一張視頻噪聲的掩碼N_mask，寬高與輸入視頻相同，每個像素位于在(0，1)之間，反映噪聲強度，值越大噪聲強度越高。

5.根據權利要求4所述的基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，所述圖像噪聲掩碼生成網絡獲取圖像噪聲的掩碼N_noise的網絡loss為L₁：

L₁＝λ₁*||mean(N_mask)-θ||²+λ₂*||V_g-V_n||² (2)

其中，mean(N_noise)為取掩碼N_noise的均值。

6.根據權利要求1所述的基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，所述視頻圖像去噪網絡由4個去噪模塊組成，每個去噪模塊，采用3個視頻幀作為輸入，并經過16個卷積模塊的運算處理；獲得每個模塊對應的去噪結果；并最終由前三個模塊的輸出結果，匯總到一個卷積模塊，輸出最后的去噪結果。

7.根據權利要求6所述的基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，其特征在于，所述視頻圖像去噪網絡采用了同時能夠保留原始圖像信息和關注保留圖像細節的loss，包括L₁ loss、前后幀聯合防抖L_pn loss與perceptual loss，具體如下：

其中，j表示網絡的第j層，C_jH_jW_j表示第j層特征圖的大小；損失網絡使用在ImageNet上訓練好的網絡，用φ_j表示網絡第j層

最終的loss如下：

L_total＝α*L₁+β*L_pn+γ*L_feature (6)

其中，α、β、γ為預設值。