[發(fā)明專利]一種視頻圖像去雪方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010820587.6
• 申請日: 2020-08-14
• 公開（公告）號: CN111951191B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計）人: 賈振紅;楊斌
• 申請（專利權(quán)）人: 新疆大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T5/30;G06V10/764;G06K9/62
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種視頻圖像去雪方法、裝置及存儲介質(zhì)，包括：對依次通過光流場估計算法、支持向量機處理后的稀疏雪花，采用第一自適應(yīng)閾值判斷進行檢測獲取最終的稀疏雪花檢測圖；基于塊的混合高斯模型對輸入視頻進行背景建模，去除稠密雪花，獲取低秩背景；使用馬爾可夫隨機場檢測輸入視頻中的運動前景獲取二值圖，采用第二自適應(yīng)閾值去除二值圖中面積的稠密雪花，將處理后的二值圖貼回低秩背景中生成新的輸入視頻；將最終的稀疏雪花檢測圖、與新的輸入視頻對應(yīng)幀圖片進行相似匹配，去除稀疏雪花。本發(fā)明通過處理后的下雪視頻，恢復(fù)了視頻中被雪花遮擋的像素信息，較原圖像能保留更多的細節(jié)特征，本發(fā)明有效的解決了視頻中被雪花遮擋的區(qū)域像素信息丟失的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻圖像處理領(lǐng)域，尤其涉及一種視頻圖像去雪方法、裝置及存儲介質(zhì)。

背景技術(shù)

隨著計算機視覺技術(shù)的快速發(fā)展，戶外視覺系統(tǒng)越來越廣泛地應(yīng)用于軍事、交通及安全等領(lǐng)域。然而，由于各類惡劣天氣造成的圖像模糊和信息覆蓋等，會直接降低戶外視覺系統(tǒng)的性能，對目標(biāo)檢測、識別、追蹤、分割和監(jiān)控造成嚴重的影響。因此，建立一個去除各種惡劣天氣對視頻圖像帶來影響的戶外視覺系統(tǒng)很有必要。雪花作為一種常見的惡劣天氣的產(chǎn)物，具有亮度較高、分布隨機、尺寸不固定和下落速度不同等特性，會嚴重阻擋視頻圖像中的重要信息，因此去除視頻圖像中的雪花也具有重要的研究意義。

目前已有的視頻圖像去雪算法雖然取得了一些成果，但是在處理不同的下雪場景時，仍然存在一些問題：

第一，在大雪場景下，視頻中連續(xù)多幀的像素點可能同時被雪花像素覆蓋，導(dǎo)致現(xiàn)有的視頻去雪算法在處理大雪視頻時，很難達到好的去雪效果。

第二，在包含運動物體的場景中，現(xiàn)有的算法會造成運動物體的缺失，還會將近景處較大的雪花誤判為運動物體，導(dǎo)致雪花沒有完全被去除。

第三，現(xiàn)有的算法只設(shè)置統(tǒng)一的像素尺寸或者權(quán)值進行雪花檢測和去除，導(dǎo)致算法的普適性很差，在處理分辨率過高或者過低的視頻時，很難取得好的去雪效果。

發(fā)明內(nèi)容

針對現(xiàn)實的下雪視頻存在信息被雪花遮擋的問題，本發(fā)明提出了一種有效的視頻圖像去雪方法、裝置及存儲介質(zhì)，通過處理后的下雪視頻，恢復(fù)了視頻中被雪花遮擋的像素信息，較原圖像能保留更多的細節(jié)特征，本發(fā)明有效的解決了視頻中被雪花遮擋的區(qū)域像素信息丟失的問題，詳見下文描述：

第一方面，一種視頻圖像去雪方法，所述方法包括：

對依次通過光流場估計算法、支持向量機處理后的稀疏雪花，采用第一自適應(yīng)閾值判斷進行檢測獲取最終的稀疏雪花檢測圖；

基于塊的混合高斯模型對輸入視頻進行背景建模，去除稠密雪花，獲取低秩背景；

使用馬爾可夫隨機場檢測輸入視頻中的運動前景獲取二值圖，采用第二自適應(yīng)閾值去除二值圖中面積的稠密雪花，將處理后的二值圖貼回低秩背景中生成新的輸入視頻；

將最終的稀疏雪花檢測圖、與新的輸入視頻對應(yīng)幀圖片進行相似匹配，去除稀疏雪花。

在一種實現(xiàn)方式中，所述采用第一自適應(yīng)閾值判斷進行檢測具體為：

當(dāng)膨脹后的雪花檢測圖的每一個連通域的取值，大于連通域的最小面積的閾值、且小于最大面積的閾值時，自適應(yīng)閾值為1；否則，自適應(yīng)閾值為0。

在一種實現(xiàn)方式中，所述采用第二自適應(yīng)閾值去除二值圖中面積稠密雪花，將處理后的二值圖貼回低秩背景中生成新的輸入視頻具體為：

當(dāng)膨脹后的雪花檢測圖的每一個連通域的取值，大于連通域的最小面積的閾值時，連通域的像素值為1，否則，像素值為0；

新的輸入視頻為：處理后的二值圖與輸入視頻對應(yīng)像素點相乘、對二值運動前景檢測圖取反值，反值與視頻背景對應(yīng)像素點相乘，2個乘積取和。