[發明專利]動態圖像中去除雨滴影響的方法和系統

在審

• 申請號: 201410856506.2
• 申請日: 2014-12-31
• 公開（公告）號: CN104537634A
• 公開（公告）日: 2015-04-22
• 發明（設計）人: 朱青松;袁杰;王磊
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/00
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 吳平

技術領域

本發明涉及視頻雨滴去除技術，特別是涉及一種動態圖像中去除雨滴影響的方法和系統。

背景技術

由于擁有包括自動性、智能性、高效性等諸多優點，戶外計算機視覺系統被廣泛使用在軍事國防、醫療技術、智能交通等領域。但是惡劣天氣會嚴重影響其性能，甚至導致其完全失效。所以消除惡劣天氣影響的有效方法，對于一個全天候的戶外視覺系統來說必不可少。在諸多惡劣天氣情況中，雨由于擁有較大粒子(雨滴)半徑及其他復雜物理特性，會對視覺系統所攝取的圖像的質量造成較大程度的影響。視頻雨滴去除技術通過使用雨的物理、頻率等特性，對視頻幀中的雨滴進行識別、去除。其不僅能夠顯著提升圖像質量，還有利于圖像的進一步處理。因此，視頻雨滴去除技術已經成為計算機視覺領域不可缺少的關鍵性技術。

近些年來關于視頻及圖像中雨滴檢測與去除的研究已然成為熱點。Starik等在2003年最早提出了時域均值的雨滴去除策略，該方法基于視頻圖像序列中少數幾幀受雨滴對像素的影響的假設，可直接對視頻幀進行平均就可以得到去除了雨的影響的原圖像。但是，該方法認為雨會對背景產生亮度加強，且造成一定程度上的模糊，最終產生的視覺效果是雨及被覆蓋背景的空間混合。后期還逐步有人提出了諸如使用了雨的動態及光度特性分別建立了兩種模型、并基于這兩個模型提出了檢測和去除雨的方法，以及使用了雨的時域分布及色彩特性，基于雨的時域分布直方圖顯示的兩個峰(分別代表雨滴亮度及背景亮度)來構建高斯混合模型，利用非監督學習方法——K-means聚類方法從圖像像素中分離雨滴像素，幀差法進行雨滴初檢等等。以上方法中雖然能對圖像中的雨滴進行去除，但是多數方法嚴重依賴于清晰雨線的提取，或是需要基于復雜的混合高斯模型，具有較高的時間復雜度，且在存在不顯眼的雨(明亮背景下的雨)及雨勢變化時，其處理性能會出現顯著下降。

基于現有技術中基于頻率的技術時間復雜度過高，不利于方法的推廣，且現有技術在雨滴去除時大量使用值簡單替換法，會對輸出視頻的質量造成降低等問題，還有待進一步的提高目前針對動態圖像的除去雨滴影響的技術。

發明內容

基于此，有必要針對現有技術中存在的問題，提供一種動態圖像中去除雨滴影響的方法和系統，其屬于一種新的針對動態圖像的雨滴去除技術，能夠有效的提高運算速度，降低復雜度，并且還能有效的應用于針對視頻數據的實時處理中。

一種動態圖像中去除雨滴影響的方法，其包括：

圖像提取步驟：提取動態圖像數據中表征顏色亮度的灰度圖像數據，獲得預設幀數的灰度圖像；

雨線分析步驟：提取所述預設幀數的灰度圖像中的其中一幀圖像進行頻域分析，確定雨線方向；

背景提取步驟：對所述預設幀數的灰度圖像進行基于所述雨線方向上的濾波處理，獲得背景圖；

濾波去噪步驟：基于雙邊濾波對所述預設幀數的灰度圖像進行濾波去噪處理，獲得多幀中間圖像；

去雨步驟：將所述背景圖和所述多幀中間圖像進行混合，調整圖像亮度，獲得去雨后的多幀結果圖像。

在其中一個實施例中，所述圖像提取步驟之前還包括：獲取連續的動態圖像數據；

每隔所述預設幀數執行一次所述雨線分析步驟，并判斷當前獲得的雨線方向是否與前一次執行所述雨線分析步驟獲得的雨線方向相同，若否，則基于所述當前獲得的雨線方向，執行所述背景提取步驟，若是則基于前一次執行所述雨線分析步驟獲得的雨線方向執行所述背景提取步驟，或者基于前一次執行所述背景提取步驟提取的背景圖像、執行所述去雨步驟。

在其中一個實施例中，所述方法還包括：將RGB模式下的視頻數據轉換到YCbCr色彩空間，獲得所述動態圖像數據。

在其中一個實施例中，所述雨線分析步驟包括：

對所述其中一幀圖像進行傅里葉變換，獲得頻譜圖；

對所述頻譜圖進行邊緣檢測，形成第一圖像；

基于霍夫變換檢測所述第一圖像中的直線；

確定檢測到的直線方向，獲得所述雨線方向。

在其中一個實施例中，所述去雨步驟中包括基于下述公式(1)對圖像數據進行處理的步驟：

C＝αC_b+(1-α)C_r????(1)

其中，C_b表示所述背景圖；C表示所述結果圖像；C_r表示所述中間圖像；α表示調節系數。

在其中一個實施例中，所述去雨步驟中還包括：

基于調整圖像的像素值函數，構建調節灰度圖像亮度的映射曲線；