[發明專利]基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法

在審

• 申請號: 202110036699.7
• 申請日: 2021-01-12
• 公開（公告）號: CN112866591A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 謝軍偉;陳弘林;李茹;羅鳴;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: H04N5/357
• 分類號: H04N5/357;H04N5/911
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，包括以下步驟：步驟S1:采集彩色視頻圖像作為目標視頻集，并進行退化處理，得到對應的退化視頻集；步驟S2:對兩個視頻集進行抽取yuv視頻幀，得到yuv視頻幀圖像，并預處理，得到高清圖像數據集和退化圖像數據集，作為訓練數據集；步驟S3:將訓練數據集裁剪為圖像塊；步驟S4:構建圖像噪聲掩碼生成網絡，并獲取圖像噪聲的掩碼；步驟S5:構建視頻圖像去噪網絡，并基于高清圖像、退化圖像和圖像噪聲的掩碼訓練，得到去噪結果。本發明構建基于前后幀融合的圖像去噪算法，并且構建了專門的圖像防抖動模塊，減少輸出圖像中存在的抖動。

技術領域

本發明涉及圖像去噪和圖像修復領域，具體涉及一種基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法。

背景技術

當前隨著科技的進步，在電影電視、視頻監控、醫學影像為代表的多媒體應用場景中，視頻圖像的應用越來越廣泛。不過視頻圖像的獲取過程中，從攝像頭拍攝，ISO曝光，視頻壓縮，視頻傳輸。每個過程都可能為視頻圖像引入噪聲。其中，主要包含高斯噪聲、ISO噪聲、視頻壓縮噪聲。怎么通過當前的算法，把視頻圖像中存在的噪聲去除干凈，同時保留原有的視頻細節，成為當前視頻圖像研究的熱點。

發明內容

有鑒于此，本發明的目的在于提供一種基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，能夠有效減少輸出圖像中存在的噪聲。

為實現上述目的，本發明采用如下技術方案：

一種基于掩碼檢測的多幀圖像融合的視頻圖像去噪方法，包括以下步驟：

步驟S1:采集彩色視頻圖像作為目標視頻集，并進行退化處理，得到對應的退化視頻集；

步驟S2:對兩個視頻集進行抽取yuv視頻幀，得到yuv視頻幀圖像，并預處理，得到高清圖像數據集和退化圖像數據集，作為訓練數據集；

步驟S3:將訓練數據集裁剪為圖像塊；

步驟S4:構建圖像噪聲掩碼生成網絡，并獲取圖像噪聲的掩碼；

步驟S5:構建視頻圖像去噪網絡，并基于高清圖像、退化圖像和圖像噪聲的掩碼訓練，得到去噪結果。

進一步的，所述步驟S1具體為：

步驟S11:采集彩色視頻圖像作為目標視頻集；

步驟S12:進行退化處理，增加ISO噪聲、椒鹽噪聲、壓縮噪聲得到對應的包含噪聲的退化視頻集。

進一步的，所述步驟S2具體為：

步驟S21:對兩個視頻集進行抽取yuv視頻幀，得到yuv視頻幀圖像；

步驟S22:對得到的得到yuv視頻幀圖像進行隨機旋轉和翻轉，得到增廣幀數據，并以匹配數據對的方式進行存儲，作為深度學習的訓練數據集。

進一步的，所述圖像噪聲掩碼生成網絡基于U-net[3]的結構，核心網絡中特征提取階段由16個卷積模塊組成，每個卷積模塊包括一個卷積層，和一個ReLU激活函數，其中一個大卷積塊的計算公式是：

F_n＝R{W_n*F_n-1+B_n} (1)

其中R表示非線性激活函數Relu，W_n，B_n分別表示特征提取階段中卷積層的權重和偏置，F_n-1表示上一次卷積輸出的特征圖，F_n表示當前卷積模塊提取的特征；

經過16個卷積模塊之后，噪聲檢測網絡最終輸出為一張視頻噪聲的掩碼N_mask，寬高與輸入視頻相同，每個像素位于在(0,1)之間，反映噪聲強度，值越大噪聲強度越高。