[發(fā)明專(zhuān)利]一種視頻雨滴去除方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510323117.8
• 申請(qǐng)日: 2015-06-12
• 公開(kāi)（公告）號(hào): CN105046653B
• 公開(kāi)（公告）日: 2018-04-17
• 發(fā)明（設(shè)計(jì)）人: 朱青松;袁杰;王磊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44316
• 代理人: 宋鷹武,沈祖鋒

1.一種視頻雨滴去除方法，包括：

步驟a：讀取視頻幀，并將視頻幀進(jìn)行色彩空間轉(zhuǎn)換；

步驟b：通過(guò)基于靜態(tài)雨滴的光度特性進(jìn)行雨滴初檢，通過(guò)引導(dǎo)濾波器進(jìn)行圖像邊緣部分識(shí)別，并從初檢結(jié)果中減去邊緣部分，得到優(yōu)化的候選雨滴；

步驟c：通過(guò)去噪算法及雨滴面積約束，得到最終檢測(cè)雨滴，并通過(guò)去霧方程及動(dòng)態(tài)雨滴光度特性去除雨滴，得到最終去雨結(jié)果；

在所述步驟c中，所述通過(guò)去噪算法及雨滴面積約束得到最終檢測(cè)雨滴具體為：通過(guò)BM3D去噪算法及雨滴面積約束得到最終檢測(cè)雨滴；所述通過(guò)去霧方程及動(dòng)態(tài)雨滴光度特性去除雨滴的具體公式為：

在上述公式中，J_dark為圖像的暗原色先驗(yàn)結(jié)果，v為由J_dark得到的退化因子，L為圖像的拉普拉斯矩陣，U為與L相同尺寸的稀疏單位矩陣，λ為歸一化系數(shù)，ω為引進(jìn)來(lái)的修正參數(shù)，用于表征圖像受靜態(tài)雨滴像素影響的程度。

2.根據(jù)權(quán)利要求1所述的視頻雨滴去除方法，其特征在于，在所述步驟a中，所述將視頻幀進(jìn)行色彩空間轉(zhuǎn)換具體包括：

步驟a1：將視頻幀從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間；所述色彩空間轉(zhuǎn)換公式為：

步驟a2：將步驟a1的公式的R、G、B分量寫(xiě)成兩部分的組合，且提取出Cb和Cr分量，步驟a1的公式重寫(xiě)為：

其中，R_bg、G_bg與B_bg分別是沒(méi)有被雨滴覆蓋的像素在三個(gè)分量上的背景強(qiáng)度值，ΔR、ΔG與ΔB是雨滴引起的背景強(qiáng)度在R、G與B分量上的增量；若像素未被雨滴覆蓋，則ΔR、ΔG及ΔB均為零；反之，均不為零；

步驟a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步驟a2中的公式變換為：

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg 。

3.根據(jù)權(quán)利要求1所述的視頻雨滴去除方法，其特征在于，在所述步驟b中，所述通過(guò)基于靜態(tài)雨滴的光度特性進(jìn)行雨滴初檢具體包括：在讀入視頻幀后，從第2幀開(kāi)始讀取當(dāng)前視頻幀的左右鄰居幀，通過(guò)使用靜態(tài)雨滴的光度學(xué)特性，判斷當(dāng)前幀與前一幀及當(dāng)前幀與后一幀的亮度差值是否大于一定閾值，如果當(dāng)前幀與前一幀及當(dāng)前幀與后一幀的亮度差值大于一定閾值，則認(rèn)為當(dāng)前幀中的某個(gè)像素為受雨或者運(yùn)動(dòng)物體影響的像素點(diǎn)，得到雨滴初檢結(jié)果。

4.根據(jù)權(quán)利要求1所述的視頻雨滴去除方法，其特征在于，在所述步驟b中，所述通過(guò)引導(dǎo)濾波器進(jìn)行圖像邊緣部分識(shí)別，并從初檢結(jié)果中減去邊緣部分，得到優(yōu)化的候選雨滴，具體包括：通過(guò)引導(dǎo)濾波器得到原圖像的高頻部分及低頻部分，通過(guò)將雨滴初檢結(jié)果及高頻部分取交集操作，得到雨滴初檢結(jié)果中的圖像邊緣部分，并從雨滴初檢結(jié)果中減去邊緣部分，得到優(yōu)化的候選雨滴。

5.一種視頻雨滴去除系統(tǒng)，其特征在于，包括空間轉(zhuǎn)換模塊、雨滴初檢模塊、圖像濾波模塊、圖像去噪模塊和圖像去雨模塊；

所述空間轉(zhuǎn)換模塊用于讀取視頻幀，并將視頻幀進(jìn)行色彩空間轉(zhuǎn)換；

所述雨滴初檢模塊用于通過(guò)基于靜態(tài)雨滴的光度特性進(jìn)行雨滴初檢；

所述圖像濾波模塊用于通過(guò)引導(dǎo)濾波器進(jìn)行圖像邊緣部分識(shí)別，并從初檢結(jié)果中減去邊緣部分，得到優(yōu)化的候選雨滴；

所述圖像去噪模塊用于通過(guò)去噪算法及雨滴面積約束得到最終檢測(cè)雨滴；

所述圖像去雨模塊用于通過(guò)去霧方程及動(dòng)態(tài)雨滴光度特性去除雨滴，得到最終去雨結(jié)果；

所述圖像去雨模塊通過(guò)去霧方程及動(dòng)態(tài)雨滴光度特性去除雨滴的具體公式為：

在上述公式中，J_dark為圖像的暗原色先驗(yàn)結(jié)果，v為由J_dark得到的退化因子，L為圖像的拉普拉斯矩陣，U為與L相同尺寸的稀疏單位矩陣，λ為歸一化系數(shù)，ω為引進(jìn)來(lái)的修正參數(shù)，用于表征圖像受靜態(tài)雨滴像素影響的程度。