[發明專利]一種視頻圖像去雪方法、裝置及存儲介質

有效

• 申請號: 202010820587.6
• 申請日: 2020-08-14
• 公開（公告）號: CN111951191B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 賈振紅;楊斌
• 申請（專利權）人: 新疆大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T5/30;G06V10/764;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種視頻圖像去雪方法、裝置及存儲介質，包括：對依次通過光流場估計算法、支持向量機處理后的稀疏雪花，采用第一自適應閾值判斷進行檢測獲取最終的稀疏雪花檢測圖；基于塊的混合高斯模型對輸入視頻進行背景建模，去除稠密雪花，獲取低秩背景；使用馬爾可夫隨機場檢測輸入視頻中的運動前景獲取二值圖，采用第二自適應閾值去除二值圖中面積的稠密雪花，將處理后的二值圖貼回低秩背景中生成新的輸入視頻；將最終的稀疏雪花檢測圖、與新的輸入視頻對應幀圖片進行相似匹配，去除稀疏雪花。本發明通過處理后的下雪視頻，恢復了視頻中被雪花遮擋的像素信息，較原圖像能保留更多的細節特征，本發明有效的解決了視頻中被雪花遮擋的區域像素信息丟失的問題。

技術領域

本發明涉及視頻圖像處理領域，尤其涉及一種視頻圖像去雪方法、裝置及存儲介質。

背景技術

隨著計算機視覺技術的快速發展，戶外視覺系統越來越廣泛地應用于軍事、交通及安全等領域。然而，由于各類惡劣天氣造成的圖像模糊和信息覆蓋等，會直接降低戶外視覺系統的性能，對目標檢測、識別、追蹤、分割和監控造成嚴重的影響。因此，建立一個去除各種惡劣天氣對視頻圖像帶來影響的戶外視覺系統很有必要。雪花作為一種常見的惡劣天氣的產物，具有亮度較高、分布隨機、尺寸不固定和下落速度不同等特性，會嚴重阻擋視頻圖像中的重要信息，因此去除視頻圖像中的雪花也具有重要的研究意義。

目前已有的視頻圖像去雪算法雖然取得了一些成果，但是在處理不同的下雪場景時，仍然存在一些問題：

第一，在大雪場景下，視頻中連續多幀的像素點可能同時被雪花像素覆蓋，導致現有的視頻去雪算法在處理大雪視頻時，很難達到好的去雪效果。

第二，在包含運動物體的場景中，現有的算法會造成運動物體的缺失，還會將近景處較大的雪花誤判為運動物體，導致雪花沒有完全被去除。

第三，現有的算法只設置統一的像素尺寸或者權值進行雪花檢測和去除，導致算法的普適性很差，在處理分辨率過高或者過低的視頻時，很難取得好的去雪效果。

發明內容

針對現實的下雪視頻存在信息被雪花遮擋的問題，本發明提出了一種有效的視頻圖像去雪方法、裝置及存儲介質，通過處理后的下雪視頻，恢復了視頻中被雪花遮擋的像素信息，較原圖像能保留更多的細節特征，本發明有效的解決了視頻中被雪花遮擋的區域像素信息丟失的問題，詳見下文描述：

第一方面，一種視頻圖像去雪方法，所述方法包括：

對依次通過光流場估計算法、支持向量機處理后的稀疏雪花，采用第一自適應閾值判斷進行檢測獲取最終的稀疏雪花檢測圖；

基于塊的混合高斯模型對輸入視頻進行背景建模，去除稠密雪花，獲取低秩背景；

使用馬爾可夫隨機場檢測輸入視頻中的運動前景獲取二值圖，采用第二自適應閾值去除二值圖中面積的稠密雪花，將處理后的二值圖貼回低秩背景中生成新的輸入視頻；

將最終的稀疏雪花檢測圖、與新的輸入視頻對應幀圖片進行相似匹配，去除稀疏雪花。

在一種實現方式中，所述采用第一自適應閾值判斷進行檢測具體為：

當膨脹后的雪花檢測圖的每一個連通域的取值，大于連通域的最小面積的閾值、且小于最大面積的閾值時，自適應閾值為1；否則，自適應閾值為0。

在一種實現方式中，所述采用第二自適應閾值去除二值圖中面積稠密雪花，將處理后的二值圖貼回低秩背景中生成新的輸入視頻具體為：

當膨脹后的雪花檢測圖的每一個連通域的取值，大于連通域的最小面積的閾值時，連通域的像素值為1，否則，像素值為0；

新的輸入視頻為：處理后的二值圖與輸入視頻對應像素點相乘、對二值運動前景檢測圖取反值，反值與視頻背景對應像素點相乘，2個乘積取和。