[發(fā)明專利]一種基于圖像熵的視頻雨滴去除方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201510323195.8
• 申請日: 2015-06-12
• 公開（公告）號: CN104978718A
• 公開（公告）日: 2015-10-14
• 發(fā)明（設計）人: 朱青松;袁杰;王磊
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/20
• 代理公司: 深圳市科進知識產(chǎn)權代理事務所(普通合伙) 44316
• 代理人: 宋鷹武;沈祖鋒

技術領域

本發(fā)明屬于視頻雨滴去除技術領域，尤其涉及一種基于圖像熵的視頻雨滴去除方法及系統(tǒng)。

背景技術

由于擁有包括自動性、智能性、高效性等諸多優(yōu)點，戶外計算機視覺系統(tǒng)被廣泛使用在軍事國防、醫(yī)療技術、智能交通等領域。但是惡劣天氣會嚴重影響其性能，甚至導致其完全失效。在諸多惡劣天氣情況中，雨由于擁有較大粒子(雨滴)半徑及其他復雜物理特性，會對視覺系統(tǒng)所攝取的圖像的質(zhì)量造成較大程度的影響。視頻雨滴去除技術通過使用雨的物理、頻率等特性，對圖像中的雨滴進行識別、去除。其不僅能夠顯著提升圖像質(zhì)量，還有利于圖像的進一步處理。因此，視頻雨滴去除技術已經(jīng)成為計算機視覺領域不可缺少的關鍵性技術。

近些年來關于視頻中雨滴檢測與去除的研究已然成為熱點。Starik等在2003年最早提出了時域均值的雨滴去除策略，作者認為在視頻圖像序列中，雨滴對像素的影響只存在于少數(shù)幾幀中，故可直接對視頻幀進行平均就可以得到去除了雨的影響的原圖像。遺憾的是，他們并沒有對方法進行試驗驗證。Garg和Nayar最早使用了雨的動態(tài)及光度特性(K.Garg?and?S.K.Nayar,“Detection?and?removal?of?rain?from?videos,”in?Proc.IEEE?Conf.Comput.Vis.Pattern?Recognit.,Jun.2004,vol.1,pp.528–535)，分別建立了兩種模型，并基于這兩個模型提出了檢測和去除雨的方法。對于雨的動態(tài)模型，其表明了雨在其下落方向具有時域相關性；對于光度模型，其分為靜態(tài)雨及動態(tài)雨模型。對于靜態(tài)雨滴，其亮度顯著高于其覆蓋的背景；對于動態(tài)雨滴(雨線)，其亮度由靜態(tài)雨滴亮度、背景亮度及相機曝光時間決定。之后，作者提出了一種使用幀差法進行雨滴初檢，使用兩種特性進行誤檢去除，并最終利用前后幀圖像信息進行雨滴去除的方法。雖然此方法性能較好，但其對于嚴重失焦(遠處)的雨、明亮背景上的雨及雨勢變化無法處理。2006年Zhang等人(Zhang?X?P,Li?H,Qi?Y?Y,Leow?W?K,Ng?T?K.Rain?removal?in?video?by?combining?temporal?and?chromatic?properties.In:Proceedings?of?the?2006?International?Conferenceon?Multimedia?and?Expo.Toronto,Canada:IEEE,2006.)使用了雨的時域分布及色彩特性。由于雨的時域分布直方圖顯示兩個峰(分別代表雨滴亮度及背景亮度)，且近似構成高斯混合模型，故非監(jiān)督學習方法——K-means聚類能夠有效地對之進行分離。之后，作者發(fā)現(xiàn)被雨滴影響像素的幀間RGB值的變化基本相同，故誤檢能夠進一步被去除。此方法實驗效果較好，但是在整個視頻利用聚類的方法辨別雨滴和背景，計算效率不高，不能進行實時的處理。2007年Barnum等人(Barnum?P?C,Narasimhan?S?G,Kanade?T.Analysis?of?rainand?snow?in?frequency?space.Internatio-nal?Journal?of?Computer?Vision,2010,)注意到之前的多數(shù)方法嚴重依賴于清晰雨線的提取，而雨線由于會造成重復的模式，在頻域中對雨進行分析是合理的。作者建立高斯模型來近似雨的影響，并通過求在三維傅里葉變換中的模型所占比例進行雨滴檢測，進而通過迭代去雨，最后反變換至視頻圖像。實驗結果表明此種方法擁有較好的處理性能，但此方法的時間復雜度過高，且對于不顯眼的雨及雨勢變化的處理，其會出現(xiàn)顯著性能下降。