[發(fā)明專利]一種基于先驗信息和卷積神經(jīng)網(wǎng)絡(luò)的視頻去噪方法

有效

• 申請?zhí)枺?/td>: 202011100020.8
• 申請日: 2020-10-15
• 公開（公告）號: CN112019704B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 朱樹元;申屠敏健;王忠榮;曾遼原;王正寧;劉光輝
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: H04N5/213
• 分類號: H04N5/213;H04N9/64;H04N21/845;G06N3/04;G06N3/08
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 甘茂

本發(fā)明屬于視頻處理領(lǐng)域，尤其涉及視頻增強技術(shù)，具體提供一種基于先驗信息和卷積神經(jīng)網(wǎng)絡(luò)的視頻去噪方法。本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)對噪聲視頻進行去噪，構(gòu)建由兩個部分連接構(gòu)成的去噪神經(jīng)網(wǎng)絡(luò)，其中，第一部分為依次連接的4層1×1卷積核，每個卷積核后均連接ReLU激活函數(shù)；第二部分為依次連接的15層3×3 Octave卷積核，第1到14層卷積核后均連接批標(biāo)準(zhǔn)化及ReLU激活函數(shù)；同時，充分在訓(xùn)練集構(gòu)建及待處理噪聲視頻數(shù)據(jù)預(yù)處理過程中，充分利用前后幀信息。綜上所述，本發(fā)明與傳統(tǒng)方法相比，無需人工手動調(diào)整參數(shù)，去噪效果好，能很好的保持視頻中紋理細節(jié)，使用方便，運行速度快，魯棒性高。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻處理領(lǐng)域，尤其涉及視頻增強技術(shù)，具體提供一種基于先驗信息和卷積神經(jīng)網(wǎng)絡(luò)的視頻去噪方法。

背景技術(shù)

在日常生活中，由于拍攝條件的限制以及發(fā)送設(shè)備、傳輸設(shè)備、接收設(shè)備的影響，視頻經(jīng)常受到噪聲干擾，使視頻質(zhì)量下降，從而影響視頻的視覺效果，妨礙視頻的進一步處理。因此，為了獲取高質(zhì)量數(shù)字圖像，必須對圖像和視頻進行去噪處理同時盡可能得保持原始信息。

傳統(tǒng)的圖像視頻去噪方法會在濾除噪聲顆粒時引入人工噪聲或大大模糊圖像，因此存在很大的局限性；而另有一些方法具有更好的去噪效果，但是一些圖像邊緣信息卻在去噪時丟失，或者由于計算量太復(fù)雜，導(dǎo)致算法效率低下。經(jīng)典的圖像質(zhì)量增強方法已經(jīng)十分成熟，但是面對日益增加的需求，其性能無法滿足如今面臨各種更加復(fù)雜的問題；新型的高效圖像質(zhì)量增強方法得到了充分的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)是近段時間比較流行的方法；神經(jīng)網(wǎng)絡(luò)通過卷積層來提取信息，通過損失函數(shù)來測量輸出特征和標(biāo)簽之間的差異，反向傳播之后更新網(wǎng)絡(luò)參數(shù)，通過不斷迭代以達到最佳網(wǎng)絡(luò)參數(shù)，神經(jīng)網(wǎng)絡(luò)不需要人工手調(diào)參數(shù)即可學(xué)習(xí)到理想最優(yōu)參數(shù)以達到最好性能；同時，由于視頻的信息冗余性，充分利用好當(dāng)前噪聲幀的前后幀可以有效提升當(dāng)前噪聲幀的去噪效果；因此，本發(fā)明提供一種基于先驗信息和卷積神經(jīng)網(wǎng)絡(luò)的視頻去噪方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對上述現(xiàn)有視頻去噪方法的不足，提供一種基于先驗信息和卷積神經(jīng)網(wǎng)絡(luò)的視頻去噪方法；該方法充分利用前后幀信息，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)視頻去噪，大幅提升去噪性能，并在運行速度、計算量和內(nèi)存使用上有一定優(yōu)勢。

為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于先驗信息和卷積神經(jīng)網(wǎng)絡(luò)的視頻去噪方法，包括以下步驟：

步驟S1、構(gòu)建訓(xùn)練集；

S11、將無噪聲視頻進行抽幀得到無噪聲視頻片段，并對無噪聲視頻片段中每個視頻幀依次進行濾波、降采樣、顏色空間轉(zhuǎn)換、歸一化的數(shù)據(jù)預(yù)處理；并且，對預(yù)處理后視頻幀加入高斯噪聲形成噪聲幀，得到與無噪聲視頻片段對應(yīng)的噪聲視頻片段；

S12、對噪聲視頻片段進行拼接，將噪聲視頻片段的噪聲幀進行分組，每組包括：前一噪聲幀、當(dāng)前噪聲幀以及后一噪聲幀，并按照該順序依次連接構(gòu)成噪聲圖像塊，、T表示噪聲幀的總幀數(shù)；

S13、采用DnCNN對每一個噪聲圖像塊中的前一噪聲幀與后一噪聲幀進行預(yù)去噪，對應(yīng)得到預(yù)去噪后前一噪聲幀與后一噪聲幀，構(gòu)成預(yù)去噪后噪聲圖像塊；

S14、針對每一個預(yù)去噪后噪聲圖像塊，對前一噪聲幀與當(dāng)前噪聲幀之間、后一噪聲幀與當(dāng)前噪聲幀之間分別進行塊匹配，并重構(gòu)成新的前一噪聲幀及后一噪聲幀，進而得到新的噪聲圖像塊；

S15、將噪聲圖像塊及其對應(yīng)的無噪聲視頻幀組成訓(xùn)練數(shù)據(jù)對，按M×N大小截取子圖像塊，形成若干子圖像塊對，、K表示單個訓(xùn)練數(shù)據(jù)對截取得子圖像塊總數(shù)；將所有視頻片段形成的子圖像塊對隨機打亂順序，構(gòu)成訓(xùn)練集；

S2、構(gòu)建及訓(xùn)練去噪神經(jīng)網(wǎng)絡(luò)；

S21、構(gòu)建去噪神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由兩個部分連接構(gòu)成：