[發(fā)明專利]一種全景視頻降噪與增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910347873.2
• 申請(qǐng)日: 2019-04-28
• 公開（公告）號(hào): CN111866397A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 王成波
• 主分類號(hào): H04N5/235
• 分類號(hào): H04N5/235;H04N5/243;H04N5/359
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種全景視頻降噪與增強(qiáng)方法，其特征在于：包括以下步驟：

(1)利用參考圖像，估計(jì)當(dāng)前圖像的相對(duì)于參考圖像的全局運(yùn)動(dòng)失量；

(2)利用全局運(yùn)動(dòng)失量和參考圖像，把當(dāng)前圖像分為運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域；

(3)對(duì)視頻中非運(yùn)動(dòng)區(qū)域進(jìn)行遞歸加權(quán)降噪，對(duì)視頻中的運(yùn)動(dòng)區(qū)域采用中值濾波進(jìn)行降噪，并保存降噪后的圖像作為下一幀圖像的參考圖像。

(4)對(duì)降噪后的圖像利用自適應(yīng)曝光補(bǔ)償?shù)膱D像增強(qiáng)方法進(jìn)行增強(qiáng)。

2.根據(jù)權(quán)利要求1所述一種全景視頻降噪與增強(qiáng)方法，其特征在于：所述步驟1中可以利用當(dāng)前圖像和參考圖像的Y通道計(jì)算全局SAD，求取當(dāng)前圖像的運(yùn)動(dòng)失量：

mv＝argmin(∑|Y(x+u，y+v)-Y′(x，y)|) (1)

其中mv為二維運(yùn)動(dòng)失量，Y(x，y)為當(dāng)前圖像的Y通道圖像，Y’(x，y)為參考圖像Y通道圖像。

3.根據(jù)權(quán)利要求1所述一種全景視頻降噪與增強(qiáng)方法，其特征在于：所述步驟2中估計(jì)當(dāng)前圖像的運(yùn)動(dòng)區(qū)域與非運(yùn)動(dòng)區(qū)域的方法：

(1)如果

|mv.u|+|mv.v|≤Th_mv (2)

其中Th_mv為全局運(yùn)動(dòng)失量閾值，如果圖像尺寸小于1280×640時(shí)，Th_mv的取值范圍為15～25，如果尺寸更大，為1920×960時(shí)，Th_mv可以取20～40。對(duì)于當(dāng)前圖像和參考圖像交疊區(qū)域內(nèi)的區(qū)域，按照尺寸為S，在窗口(i，j)，計(jì)算Y通道當(dāng)前圖像與參考圖像的差值的絕對(duì)值：

如果Diff_ij＞Th，則該窗口中所有的像素為運(yùn)動(dòng)區(qū)域，運(yùn)動(dòng)區(qū)域標(biāo)記MFlag(i，j)＝1，如果Diff_ij≤Th，則該區(qū)域?yàn)榉沁\(yùn)動(dòng)區(qū)域，運(yùn)動(dòng)區(qū)域標(biāo)記MFlag(i，j)＝0。其中窗口的尺寸S取值要根據(jù)圖像的大小而定，例如圖像尺寸小于等于1280×640，S取值為3～9，如果圖像尺寸大于等于1920×960時(shí)，S取值為5～15。閾值Th的取值范圍為9～15。

(2)對(duì)于位于當(dāng)前圖像與參考圖像交疊區(qū)域以外的區(qū)域的所有窗口(i，j)，則標(biāo)記為運(yùn)動(dòng)區(qū)域，運(yùn)動(dòng)區(qū)域標(biāo)記MFlag(i，j)＝1。

(3)去除不合理的運(yùn)動(dòng)區(qū)域。計(jì)算每個(gè)運(yùn)動(dòng)區(qū)域聯(lián)通域包含窗口數(shù)目，如果某個(gè)運(yùn)動(dòng)區(qū)域的所包含窗口數(shù)目小于Ths，認(rèn)為該運(yùn)動(dòng)區(qū)域的屬性認(rèn)定不可靠，則把位于該聯(lián)通域內(nèi)所有的窗口標(biāo)記為MFlag(i，j)＝0，Ths一般取值為3。

(4)如果

|mv.u|+|mv.v|＞Th_mv (4)

表明當(dāng)前圖像相對(duì)于參考圖像運(yùn)動(dòng)幅度過大，此時(shí)當(dāng)前圖像所有窗口運(yùn)動(dòng)區(qū)域標(biāo)記MFlag(i，j)＝1。

4.根據(jù)權(quán)利要求1所述一種全景視頻降噪與增強(qiáng)方法，其特征在于：所述步驟3中，對(duì)于窗口標(biāo)記MFlag(i，j)＝0的窗口中的圖像進(jìn)行遞歸加權(quán)降噪，其方法為：

Y_Denoise(x，y)＝γY(x+mv.u，y+mv.v)+(1-γ)Y(x，y) (5)

在方法中，γ取值區(qū)間為0.1～0.3。窗口(i，j)中圖像的UV通道也按照上式同樣的方法進(jìn)行濾波

對(duì)于窗口標(biāo)記MFlag(i，j)＝1的窗口中的圖像進(jìn)行中值濾波，其方法為：

其中窗口S′的大小為3或者5。窗口(i，j)中圖像的UV通道也按照上式進(jìn)行降噪處理。

保存降噪后的圖像作為下一幀圖像的參考圖像。

5.根據(jù)權(quán)利要求1所述一種全景視頻降噪與增強(qiáng)方法，其特征在于：所述步驟4中，對(duì)降噪后的視頻圖像利用自適應(yīng)曝光補(bǔ)償?shù)膱D像增強(qiáng)方法進(jìn)行增強(qiáng)，其步驟如下：

(1)計(jì)算降噪后Y_Denoise通道圖像的整體平均值μ；

(2)計(jì)算降噪后Y_Denoise通道圖像的局部平均值μ(x，y)，計(jì)算公式如下：

計(jì)算局部平均值的窗口尺寸S₁為4～16，視圖像尺寸大小而定，例如圖像尺寸小于1280×640，可以采用4～8的窗口尺寸計(jì)算局部平均值，如果窗口尺寸大于1280×640，可以采用6～12的窗口尺寸，如果窗口大于等于1920×960，可以采用8～16的窗口尺寸。

(3)利用局部均值和整體均值對(duì)輸入圖像進(jìn)行曝光補(bǔ)償，提升圖像的整體亮度與對(duì)比度，補(bǔ)償方法為：

A(x，y)＝α(μ)(ln(F(μ(x，y)))-ln(μ(x，y))) (8)

其中α()與圖像的整體亮度有關(guān)，其函數(shù)為：

其中w取值范圍為0.2～0.7，建議取值為0.3；Th_high為高亮度圖像閾值，在方法中取值為180。

函數(shù)F_i(k)由如下公式計(jì)算：

在這里F_min取值為130～160之間，建議值為150。

(4)求取Y通道在對(duì)數(shù)域增強(qiáng)圖像：

ln(Y_out(x，y))＝ln(Y_Denoise(x，y))+A(x，y) (11)

那么Y通道的輸出圖像為：

(5)為每個(gè)像素點(diǎn)計(jì)算UV通道的增強(qiáng)比例：

對(duì)于輸出圖像每個(gè)像素點(diǎn)的UV通道，按照如下公式計(jì)算：

U_out(x，y)＝max(0，min(255，(U_Denoise(x，y)-128)Ratio_uv+128) (14)

V_out(x，y)＝max(0，min(255，(V_Denoise(x，y)-128)Ratio_uv+128) (15)。