[發(fā)明專利]對視頻圖像進(jìn)行去雨的方法

在審

• 申請?zhí)枺?/td>: 201410855080.9
• 申請日: 2014-12-31
• 公開（公告）號: CN104484865A
• 公開（公告）日: 2015-04-01
• 發(fā)明（設(shè)計）人: 朱青松;李佳恒;王磊
• 申請（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 深圳市銘粵知識產(chǎn)權(quán)代理有限公司 44304
• 代理人: 孫偉峰

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，更具體地講，涉及一種對視頻圖像進(jìn)行去雨的方法。

背景技術(shù)

雨對視頻圖像的成像有很大的影響，會造成圖像成像模糊和信息覆蓋，導(dǎo)致視頻圖像的清晰度下降，從而使視頻圖像的進(jìn)一步處理(例如，基于圖像的目標(biāo)檢測、識別、追蹤、分割和監(jiān)控等)也會受此影響而性能下降。關(guān)于視頻圖像中雨滴特性的研究已受到國際學(xué)術(shù)界的廣泛關(guān)注，通過對受雨滴污染的視頻圖像進(jìn)行去雨，有利于圖像的進(jìn)一步處理。視頻圖像的去雨在現(xiàn)代軍事、交通以及安全監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用前景，已經(jīng)成為新的研究熱點。

從2003年Starik等提出基于中值計算方法進(jìn)行去雨的方法開始，對視頻圖像進(jìn)行去雨的方法的研究已經(jīng)得到了迅速的發(fā)展。目前，對視頻圖像進(jìn)行去雨的方法已經(jīng)不再局限于最初的簡單的中值計算方法，偏度計算、K均值聚類、卡爾曼濾波、字典學(xué)習(xí)和稀疏編碼、引導(dǎo)濾波、幀間亮度差、HSV空間、光流法、運動分割等很多方法也已經(jīng)逐漸應(yīng)用到視頻圖像中雨滴的檢測與去除中，提高了視頻圖像的去雨的效果。

例如，Garg等提出利用雨滴帶來的幀間亮度差進(jìn)行雨滴初檢，然后利用雨滴的直線性和方向一致的特點進(jìn)行進(jìn)一步篩選，之后根據(jù)前后幀的像素的亮度值來去除雨滴影響，從而能夠在雨滴不覆蓋連續(xù)幀圖像的情況下較好地對雨滴進(jìn)行檢測與去除；Zhang等在對視頻圖像進(jìn)行去雨的過程中，將雨滴給像素帶來的色彩影響考慮在內(nèi)，從而提高了雨滴檢測的準(zhǔn)確性，改善了基于亮度值變化的去雨方法在彩色圖像上的去雨效果；Liu等將雨滴的亮度影響和色彩影響同時應(yīng)用在去雨的方法中，通過兩幀圖像檢測雨滴并去除雨滴；Tripathi等研究了雨滴像素亮度變化的概率統(tǒng)計特性，利用雨滴像素亮度變化的對稱性實現(xiàn)了對雨滴的檢測；Kang等利用雙邊濾波法將雨圖分成高頻部分和低頻部分，對高頻部分進(jìn)行進(jìn)一步處理得到非雨成分，并結(jié)合低頻部分進(jìn)行去雨；Huang等利用上下文約束進(jìn)行圖像分割，并利用上下文感知進(jìn)行單幅圖像去雨，并在此基礎(chǔ)上提出了改進(jìn)算法，使用超完備的字典對高頻部分進(jìn)行處理來對視頻圖像進(jìn)行去雨。

上述這些對視頻圖像進(jìn)行去雨的方法，可很好地去除靜態(tài)場景的視頻圖像(不包含運動物體的視頻圖像)中的雨滴。但是，當(dāng)視頻圖像中包含運動物體時，由于運動物體的干擾，現(xiàn)有的對視頻圖像進(jìn)行去雨的方法并不能很好地去除雨滴。

因此，現(xiàn)有的對視頻圖像進(jìn)行去雨的方法的適用性不高。

發(fā)明內(nèi)容

本發(fā)明的示例性實施例在于提供一種對視頻圖像進(jìn)行去雨的方法，以解決現(xiàn)有技術(shù)中無法很好地從包含運動物體的視頻圖像中去除雨滴的技術(shù)問題。

根據(jù)本發(fā)明示例性實施例，提供一種對視頻圖像進(jìn)行去雨的方法，包括：(A)利用光流法估計視頻圖像的預(yù)定幀圖像中的運動物體區(qū)域；(B)利用彩色聚類算法對估計的運動物體區(qū)域進(jìn)行優(yōu)化，獲得優(yōu)化運動物體區(qū)域；(C)確定所述預(yù)定幀圖像中的雨滴區(qū)域；(D)根據(jù)所述雨滴區(qū)域與所述優(yōu)化運動物體區(qū)域之間的重疊情況來進(jìn)行雨滴去除。

可選地，步驟(B)包括：(B1)按照所述運動物體區(qū)域中像素的色彩特性，通過分層減法聚類將所述運動物體區(qū)域劃分為預(yù)定數(shù)量的子集；(B2)基于每個子集的中心點進(jìn)行模糊聚類，獲得優(yōu)化運動物體區(qū)域。

可選地，步驟(C)包括：(C1)針對所述預(yù)定幀圖像中的每個像素，計算所述像素的灰度值變化量，其中，所述灰度值變化量指示所述像素的灰度值與前一幀圖像中與所述像素位于相同位置的像素的灰度值之間的差值；(C2)根據(jù)所述預(yù)定幀圖像中各個像素的灰度值變化量，在所述預(yù)定幀圖像中確定所有受雨滴影響的區(qū)域；(C3)針對每個受雨滴影響的區(qū)域中的每個像素，計算所述像素的色彩分量值變化量，其中，所述色彩分量值變化量指示所述像素的色彩分量值與前一幀圖像中與所述像素位于相同位置的像素的色彩分量值之間的差值；(C4)針對每個受雨滴影響的區(qū)域，基于所述區(qū)域中每個像素的灰度值變化量、所述區(qū)域中包含的像素個數(shù)以及所述區(qū)域中每個像素的色彩分量值變化量，來確定所述區(qū)域是否屬于雨滴區(qū)域。

可選地，在步驟(C2)中，在所述預(yù)定幀圖像中確定灰度值變化量大于第一閾值的所有像素，其中，所述所有像素按照位置連通性形成各個受雨滴影響的區(qū)域。

可選地，在步驟(C4)中，將滿足以下條件的受雨滴影響的區(qū)域確定為雨滴區(qū)域：受雨滴影響的區(qū)域中每個像素的灰度值變化量均在預(yù)定范圍內(nèi)，受雨滴影響的區(qū)域中包含的像素個數(shù)大于預(yù)定個數(shù)，并且，受雨滴影響的區(qū)域中每個像素的色彩分量值變化量均小于第二閾值。