[發明專利]一種基于雙向時域一致的視頻去雨方法與裝置

在審

• 申請號: 202110041992.2
• 申請日: 2021-01-13
• 公開（公告）號: CN112634178A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉家瑛;胡煜章;楊文瀚;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種基于雙向時域一致的視頻去雨方法與裝置。本方法為：1)收集雨天視頻數據并將其劃分為多個片段；2)搭建去雨模型并進行訓練，模型包括由外至內去雨網絡和由內至外預測網絡；其中，對于每一片段，第一階段：由內向外去雨網絡首先分別估計該訓練樣本中間一幀的前后相鄰幀到該幀的光流，并基于光流對相鄰幀的運動補償結果計算當前幀的粗去雨結果；再根據補償結果以及粗去雨結果計算當前幀的精細去雨結果；第二階段：由內向外預測網絡利用光流和當前幀的精細去雨結果預測當前幀的相鄰幀，并對相鄰幀的預測結果和其真實值之間施加一致性約束，構成時序一致損失函數；3)利用訓練后的模型對視頻進行去雨，獲得去雨后的視頻。

技術領域

本發明屬于計算機軟件技術領域，涉及一種視頻去雨方法，尤其涉及一種基于雙向時域一致的視頻去雨方法與裝置。

背景技術

雨天條件下拍攝得到的視頻數據，會由于雨痕、霧化等現象導致視頻的質量受到很大的影響。因此，對于視頻進行去雨處理成為了研究熱點。近年來，隨著深度學習的快速發展，基于深度學習進行視頻去雨處理被廣泛關注。但是，深度學習技術需要大量的訓練數據支撐，而訓練數據的收集成本往往是很高的。對于視頻去雨任務的訓練數據收集，訓練數據的收集更為困難，獲取同一個場景的完全對齊的雨天視頻數據和良好天氣視頻數據是難以實現的，這主要是由于拍攝角度、不同時刻的光照、環境因素所導致的。這一問題嚴重影響了基于深度學習的視頻去雨方法的研究。

此外，對于視頻去雨問題，視頻幀之間的時序連續性也需要進行考慮，而不能僅考慮單張圖像的去雨效果，即每一幀的去雨結果組成的去雨視頻應當仍然具有和原視頻一致的時域連續性，否則將會嚴重影響去雨后的視頻的質量。

發明內容

針對上述問題和相關方法的缺陷，本發明的目的在于提供一種基于雙向時域一致的視頻去雨方法與裝置。本發明由兩個階段組成，分別對應了雙向時域一致的兩個方向，分別是由外至內以及由內至外。其中由外至內的第一階段，是利用當前幀的相鄰幀作為輸入，計算出當前幀的粗去雨結果，并對該粗去雨結果進行增強，獲得精細去雨結果。而由內至外的第二階段，是利用精細去雨結果反向預測當前幀的相鄰幀，使得預測所得的幀與相鄰幀之間保持一致。

本發明主要包括以下步驟：

(1)收集雨天拍攝所得的視頻數據作為訓練模型所需的訓練數據。

(2)分別搭建如圖1所示的由外至內去雨網絡和由內至外預測網絡。

(3)設置損失函數，初始化網絡參數并在訓練數據上進行訓練，直到網絡擬合，得到一去雨模型。

(4)將待處理雨天視頻的每一幀利用訓練所得的去雨模型進行去雨，從而獲得去雨后的視頻。

本發明的技術方案為：

一種基于雙向時域一致的視頻去雨方法，其步驟包括：

1)收集雨天拍攝的視頻數據并將其劃分為多個片段，將每一片段作為一個訓練樣本，得到一訓練數據集；其中每一片段包含連續的m幀；

2)搭建一去雨模型并利用該訓練數據集進行訓練，該去雨模型包括一個由外至內去雨網絡和一個由內至外預測網絡；其中，對于每一訓練樣本進行兩階段處理：

第一階段為：由內向外去雨網絡首先分別估計該訓練樣本中間一幀I_t的前后相鄰幀到I_t的光流，并基于光流對相鄰幀進行運動補償，得到相鄰幀運動補償結果；然后利用該相鄰幀運動補償結果計算當前幀I_t的粗去雨結果再根據該相鄰幀運動補償結果以及粗去雨結果計算當前幀I_t的精細去雨結果其中，由內向外去雨網絡包括損失函數損失函數為當前幀I_t的雨痕掩膜；