[發(fā)明專利]一種全景視頻降噪與增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910347873.2
• 申請(qǐng)日: 2019-04-28
• 公開（公告）號(hào): CN111866397A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 王成波
• 主分類號(hào): H04N5/235
• 分類號(hào): H04N5/235;H04N5/243;H04N5/359
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開了一種全景視頻降噪和增強(qiáng)方法。全景視頻降噪方法利用當(dāng)前圖像和參考圖像，把當(dāng)前圖像分為運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域，對(duì)非運(yùn)動(dòng)區(qū)域采用幀間遞歸加權(quán)的方法進(jìn)行降噪，對(duì)運(yùn)動(dòng)區(qū)域采用中值濾波方法進(jìn)行降噪。全景視頻增強(qiáng)方法采用了一種自適應(yīng)光照補(bǔ)償?shù)脑鰪?qiáng)方法，引入了全局光照和局部光照參數(shù)，可以對(duì)低光照，普通光照和高光照?qǐng)D像區(qū)域進(jìn)行自適應(yīng)的光照補(bǔ)償，自動(dòng)調(diào)整增強(qiáng)后的圖像亮度對(duì)比度,并且確保不會(huì)引入更大的噪聲。兩種方法相互結(jié)合，可以較好地提高全景視頻質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理領(lǐng)域，具體涉及一種全景視頻降噪與增強(qiáng)方法。

背景技術(shù)

隨著技術(shù)的發(fā)展，全景視頻技術(shù)越來(lái)越在視頻監(jiān)控，視頻會(huì)議，虛擬現(xiàn)實(shí)等領(lǐng)域得到廣泛地應(yīng)用。全景視頻在獲取的過(guò)程中，受到環(huán)境的影響要遠(yuǎn)大于普通視頻。因?yàn)槿跋鄼C(jī)的視角是全方位的，所以全景相機(jī)所要面臨的光照動(dòng)態(tài)范圍要遠(yuǎn)大于普通相機(jī)，當(dāng)環(huán)境中存在強(qiáng)光源的情況下，全景相機(jī)因?yàn)橐獕嚎s更大的光照動(dòng)態(tài)范圍，會(huì)導(dǎo)致圖像中部分區(qū)域過(guò)暗。當(dāng)環(huán)境光照不足的情況下，會(huì)導(dǎo)致視頻本身曝光不足，并且引入大量的噪聲。因此全景視頻的降噪與增強(qiáng)的需求，要遠(yuǎn)大于普通視頻。

為了提高全景視頻的質(zhì)量，可以采用視頻降噪和視頻增強(qiáng)算法對(duì)全景視頻進(jìn)行處理。視頻的噪聲通常會(huì)建模成均值為0的高斯噪聲，這種噪聲同一像素位置幀間互相獨(dú)立，幀內(nèi)不同像素也互相獨(dú)立。因此可以采用時(shí)域和空域降噪方法進(jìn)行視頻降噪。時(shí)域降噪利用圖像幀間噪聲不相關(guān)的特點(diǎn)進(jìn)行降噪，可以采用多幀加權(quán)或者遞歸加權(quán)的方法進(jìn)行多幀降噪，雖然能有效的降低幀間噪聲，但是也會(huì)導(dǎo)致運(yùn)動(dòng)物體拖尾的現(xiàn)象。空域降噪算法利用圖像相鄰像素的相關(guān)性而噪聲不相關(guān)的特點(diǎn)進(jìn)行噪聲消除，多采用例如高斯濾波，局部平均的低通濾波方法，雖然能有效降低噪聲的影響，但是圖像的邊緣和細(xì)節(jié)也被模糊。對(duì)于視頻增強(qiáng)方法，傳統(tǒng)的直方圖均衡算法可以有效地提高圖像的對(duì)比度的同時(shí)也提高噪聲的幅度水平，Retinex算法是一種比較優(yōu)秀的圖像增強(qiáng)算法，但是會(huì)對(duì)圖像中亮度變化劇烈的區(qū)域引入光暈，并且引入色彩失真現(xiàn)象。

發(fā)明內(nèi)容

本發(fā)明公開了一種全景視頻降噪方法和全景視頻增強(qiáng)方法。全景視頻降噪方法利用參考圖像，求取圖像中的運(yùn)動(dòng)區(qū)域，對(duì)于非運(yùn)動(dòng)區(qū)域采用多幀遞歸加權(quán)方法進(jìn)行降噪，對(duì)于運(yùn)動(dòng)區(qū)域采用幀內(nèi)中值濾波的方法進(jìn)行降噪，這樣既有效地去除噪聲，又提高了運(yùn)算速度，并且避免了運(yùn)動(dòng)區(qū)域拖尾的現(xiàn)象。全景視頻增強(qiáng)方法采用了一種自適應(yīng)光照補(bǔ)償?shù)脑鰪?qiáng)方法，引入了全局光照和局部光照參數(shù)，可以對(duì)低光照，普通光照和高光照?qǐng)D像和圖像區(qū)域進(jìn)行自適應(yīng)的光照補(bǔ)償，自動(dòng)調(diào)整增強(qiáng)后的圖像亮度對(duì)比度，并且確保不會(huì)引入更大的噪聲。本文提出的視頻降噪方法和視頻增強(qiáng)方法互相結(jié)合，可以極大提高全景視頻的質(zhì)量。

一種全景視頻降噪與增強(qiáng)方法，其特征在于：包括以下步驟：

(1)利用參考圖像，估計(jì)當(dāng)前圖像相對(duì)于參考圖像的全局運(yùn)動(dòng)失量；

(2)利用全局運(yùn)動(dòng)失量和參考圖像，把當(dāng)前圖像分為運(yùn)動(dòng)區(qū)域和非運(yùn)動(dòng)區(qū)域；

(3)對(duì)視頻中非運(yùn)動(dòng)區(qū)域進(jìn)行遞歸加權(quán)降噪，對(duì)視頻中的運(yùn)動(dòng)區(qū)域采用中值濾波器進(jìn)行降噪，并保存降噪后的圖像作為下一幀的參考圖像；

(4)對(duì)降噪后的視頻圖像利用自適應(yīng)曝光補(bǔ)償?shù)膱D像增強(qiáng)方法進(jìn)行增強(qiáng)。

上述步驟1中利用當(dāng)前圖像和參考圖像的Y通道計(jì)算全局SAD，求取當(dāng)前圖像的運(yùn)動(dòng)失量：

mv＝argmin(Σ|Y(x+u，y+v)-Y′(x，y)|) (1)

其中，mv為二維運(yùn)動(dòng)失量，Y(x，y)為當(dāng)前圖像的Y通道圖像，Y’(x，y)為參考圖像Y通道圖像。

上述步驟2中估計(jì)當(dāng)前圖像的運(yùn)動(dòng)區(qū)域的方法：

(1)如果

|mv.u|+|mv.v|≤Th_mm (2)