[發明專利]一種視頻雨滴去除方法及系統

有效

• 申請號: 201510323117.8
• 申請日: 2015-06-12
• 公開（公告）號: CN105046653B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 朱青松;袁杰;王磊
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙)44316
• 代理人: 宋鷹武,沈祖鋒

技術領域

本發明屬于視頻雨滴去除技術領域，尤其涉及一種視頻雨滴去除方法及系統。

背景技術

由于擁有包括自動性、智能性、高效性等諸多優點，戶外計算機視覺系統被廣泛使用在軍事國防、醫療技術、智能交通等領域。但是惡劣天氣會嚴重影響其性能，甚至導致其完全失效。所以消除惡劣天氣影響的有效方法，對于一個全天候的戶外視覺系統來說必不可少。在諸多惡劣天氣情況中，雨由于擁有較大粒子(雨滴)半徑及其他復雜物理特性，會對視覺系統所攝取的圖像質量造成較大程度的影響。視頻雨滴去除技術通過使用雨的物理、頻率等特性，對視頻幀中的雨滴進行識別、去除。其不僅能夠顯著提升圖像質量，還有利于圖像的進一步處理。因此，視頻雨滴去除技術已經成為計算機視覺領域不可缺少的關鍵性技術。

近些年來關于視頻及圖像中雨滴檢測與去除的研究已然成為熱點。Starik等在2003年最早提出了時域均值的雨滴去除策略，作者認為在視頻圖像序列中，雨滴對像素的影響只存在于少數幾幀中，故可直接對視頻幀進行平均就可以得到去除了雨的影響的原圖像。同時，他們認為雨會對背景產生亮度加強，且造成一定程度上的模糊，最終產生的視覺效果是雨及被覆蓋背景的空間混合。對于遠處的雨，由于失焦效果，會呈現霧狀特征。遺憾的是，他們并沒有對方法進行試驗驗證。Garg和Nayar最早使用了雨的動態及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分別建立了兩種模型，并基于這兩個模型提出了檢測和去除雨的方法。對于雨的動態模型，其表明了雨在其下落方向具有時域相關性；對于光度模型，其分為靜態雨及動態雨模型。對于靜態雨滴，其亮度顯著高于其覆蓋的背景；對于動態雨滴(雨線)，其亮度由靜態雨滴亮度、背景亮度及相機曝光時間決定。之后，作者提出了一種使用幀差法進行雨滴初檢，使用兩種特性進行誤檢去除，并最終利用前后幀圖像信息進行雨滴去除的方法。雖然此方法性能較好，但其對于嚴重失焦(遠處)的雨、明亮背景上的雨及雨勢變化無法處理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the 2006 International Conferenceon Multimedia and Expo.Toronto,Canada:IEEE,2006.461)使用了雨的時域分布及色彩特性。由于雨的時域分布直方圖顯示兩個峰(分別代表雨滴亮度及背景亮度)，且近似構成高斯混合模型，故非監督學習方法——K-means聚類算法能夠有效地對之進行分離。之后，作者發現被雨滴影響像素的幀間RGB值的變化基本相同，故誤檢能夠進一步被去除。此方法實驗效果較好，但是在整個視頻利用聚類的方法辨別雨滴和背景，計算效率不高，不能進行實時的處理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space.Internatio-nal Journal of Computer Vision,2010,86)注意到之前的多數方法嚴重依賴于清晰雨線的提取，而雨線由于會造成重復的模式，在頻域中對雨進行分析是合理的。作者建立高斯模型來近似雨的影響，并通過求在三維傅里葉變換中的模型所占比例進行雨滴檢測，進而通過迭代去雨，最后反變換至視頻圖像。實驗結果表明此種方法擁有較好的處理性能，但此方法由于算法較為簡單，容易出現過多錯誤檢測；同時，由于使用了混合高斯模型，具有較高的時間復雜度，且在存在不顯眼的雨(明亮背景下的雨)及雨勢變化時，其處理性能會出現顯著下降。