[發(fā)明專利]一種視頻多幀去噪及增強(qiáng)方法

有效

• 申請?zhí)枺?/td>: 201710242666.1
• 申請日: 2017-04-14
• 公開（公告）號: CN107403413B
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 趙海賓
• 申請（專利權(quán)）人: 杭州當(dāng)虹科技股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/207;H04N5/21
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種視頻多幀去噪及增強(qiáng)方法，此方法由全局運(yùn)動估計(jì)模塊、局部運(yùn)動檢測模塊、多幀融合濾波模塊、去塊效應(yīng)模塊和圖像增強(qiáng)模塊組成。全局運(yùn)動估計(jì)模塊獲得多幀之間的全局運(yùn)動矢量，用于去除相機(jī)的全局運(yùn)動，為下一步提供必要條件；局部運(yùn)動檢測模塊能夠檢測出場景中的局部運(yùn)動；多幀融合濾波模塊對于局部運(yùn)動塊采用雙邊濾波的方式進(jìn)行融合濾波，而對于非局部運(yùn)動塊則采用簡單的均值濾波的方式進(jìn)行融合濾波；去塊效應(yīng)模塊可以處理由于不同融合濾波方式產(chǎn)生的塊效應(yīng)；多幀融合濾波模塊和去塊效應(yīng)模塊之后，圖像會有所模糊，圖像增強(qiáng)模塊會增強(qiáng)圖像的主觀質(zhì)量使得處理之后的視頻清晰銳利，并能大大抑制視頻噪聲，大大降低視頻傳輸碼率。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，更具體的說涉及一種視頻多幀去噪及增強(qiáng)方法。

背景技術(shù)

視頻去噪是圖像處理領(lǐng)域的一個熱點(diǎn)問題，也是一個極具挑戰(zhàn)的研究方向。視頻中的噪聲不僅會阻礙人們對視頻內(nèi)容的理解，還會大大增加視頻傳輸?shù)拇a率。

基于單幀的圖像去噪算法，普遍利用圖像的局部信息來平滑處理，或者采用假想的噪聲模型來模擬噪聲并在一定的約束條件下求得最優(yōu)解，這兩種方法不可避免地使圖像丟失了很多細(xì)節(jié)信息。針對一般的監(jiān)控場景，相機(jī)不會出現(xiàn)較大頻率和較大幅度的運(yùn)動，其相鄰幀會存在很大的時(shí)域相關(guān)性，所以基于多幀的監(jiān)控視頻去噪會比單幀視頻去噪獲得更好的效果。發(fā)明內(nèi)容

本發(fā)明從提升視頻主觀質(zhì)量和降低視頻碼率出發(fā)，發(fā)明了一種視頻多幀去噪及增強(qiáng)方法，使得處理之后的視頻清晰銳利，并能大大抑制視頻噪聲，大大降低視頻傳輸碼率。

為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案為：一種視頻多幀去噪及增強(qiáng)方法，包括有全局運(yùn)動估計(jì)模塊、局部運(yùn)動檢測模塊、多幀融合濾波模塊、去塊效應(yīng)模塊和圖像增強(qiáng)模塊，所述全局運(yùn)動估計(jì)模塊獲得多幀之間的全局運(yùn)動矢量，去除相機(jī)的全局運(yùn)動，所述局部運(yùn)動檢測模塊能夠檢測出場景中的局部運(yùn)動，所述多幀融合濾波模塊對于局部運(yùn)動塊采用雙邊濾波的方式進(jìn)行融合濾波，所述去塊效應(yīng)模塊處理由于不同融合濾波方式產(chǎn)生的塊效應(yīng)，所述圖像增強(qiáng)模塊最后增強(qiáng)圖像的主觀質(zhì)量。

進(jìn)一步的，所述全局運(yùn)動估計(jì)模塊的按照如下步驟進(jìn)行：

Q1對于輸入的多幀圖像，確定參考幀與配準(zhǔn)幀；

Q2建立參考幀與配準(zhǔn)幀的圖像金字塔；

Q3從金字塔的頂層開始計(jì)算全局運(yùn)動估計(jì)，運(yùn)動估計(jì)采用塊匹配的方式，選擇參考幀居中的圖像塊作為匹配基準(zhǔn)塊，然后在一定的搜索范圍內(nèi)使用窮盡搜索來獲得配準(zhǔn)幀的最優(yōu)圖像塊，匹配準(zhǔn)則使用絕對差值和SAD策略；

Q4得到上一層的全局運(yùn)動估計(jì)之后，在當(dāng)前幀基于上一層的運(yùn)動估計(jì)結(jié)果，使用與上一層相同的搜索匹配策略進(jìn)行估計(jì)當(dāng)前幀的全局運(yùn)動矢量；

Q5一級一級將全局運(yùn)動傳遞到最底層，得到最終的全局運(yùn)動矢量，最終全局運(yùn)動矢量＝上述所有層的全局運(yùn)動矢量之和。

進(jìn)一步的，所述局部運(yùn)動檢測模塊按照如下步驟進(jìn)行：

J1根據(jù)全局運(yùn)動矢量將配準(zhǔn)幀與參考幀對齊，并將所有幀劃分成不重疊的局部圖像塊；

J2計(jì)算參考幀圖像塊與配準(zhǔn)幀對應(yīng)圖像塊的像素絕對差值，如果像素絕對差值大于設(shè)定閾值的個數(shù)占圖像塊像素總個數(shù)的比例超過設(shè)定比例值，則認(rèn)為是局部運(yùn)動塊；

J3如果所有的配準(zhǔn)幀對應(yīng)圖像塊按二中的方式判定為非局部運(yùn)動塊，則當(dāng)前圖像塊為非局部運(yùn)動塊。

進(jìn)一步的，所述多幀融合濾波模塊按照如下步驟進(jìn)行：

D1對于判定為非局部運(yùn)動的塊，采用均值濾波的方式對所有時(shí)域圖像塊進(jìn)行加權(quán)平均，

D2對于判定為局部運(yùn)動的塊，對局部運(yùn)動塊內(nèi)的各個像素采用時(shí)域雙邊濾波的方式進(jìn)行濾波。

進(jìn)一步的，所述去塊效應(yīng)模塊按照如下步驟進(jìn)行：