[發明專利]一種基于雙向時域一致的視頻去雨方法與裝置

在審

• 申請號: 202110041992.2
• 申請日: 2021-01-13
• 公開（公告）號: CN112634178A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉家瑛;胡煜章;楊文瀚;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

1.一種基于雙向時域一致的視頻去雨方法，其步驟包括：

1)收集雨天拍攝的視頻數據并將其劃分為多個片段，將每一片段作為一個訓練樣本，得到一訓練數據集；其中每一片段包含連續的m幀；

2)搭建一去雨模型并利用該訓練數據集進行訓練，該去雨模型包括一個由外至內去雨網絡和一個由內至外預測網絡；其中，對于每一訓練樣本進行兩階段處理：

第一階段為：由內向外去雨網絡首先分別估計該訓練樣本中間一幀I_t的前后相鄰幀到I_t的光流，并基于光流對相鄰幀進行運動補償，得到相鄰幀運動補償結果；然后利用該相鄰幀運動補償結果計算當前幀I_t的粗去雨結果再根據該相鄰幀運動補償結果以及粗去雨結果計算當前幀I_t的精細去雨結果其中，由內向外去雨網絡包括損失函數損失函數為當前幀I_t的雨痕掩膜；

第二階段為：由內向外預測網絡利用所述光流和當前幀I_t的精細去雨結果預測當前幀I_t的相鄰幀，并對相鄰幀的預測結果和其真實值之間施加一致性約束，構成時序一致損失函數其中為第i幀的雨痕掩膜，為第i幀I_i的精細去雨結果，s是相鄰幀的數量；

當所有損失函數之和L_All＝L_Flow+λ_TL_Fid-T+λ_BL_Fid-B滿足設定條件時停止訓練；其中L_Fid-T＝L_Fid-TCor+L_Fid-TCon，λ_T、λ_B分別為權重系數，損失函數

3)利用訓練后的去雨模型對待處理雨天視頻的每一幀進行去雨，獲得去雨后的視頻。

2.如權利要求1所述的方法，其特征在于，將該相鄰幀運動補償結果輸入粗去雨模塊中，計算得到當前幀I_t的粗去雨結果該粗去雨模塊為多個3D卷積層組成的卷積神經網絡。

3.如權利要求1或2所述的方法，其特征在于，將該相鄰幀運動補償結果以及粗去雨結果計算當前幀I_t的精細去雨結果輸入增強模塊中，得到當前幀I_t的精細去雨結果其中該增強模塊為多個3D卷積層組成的卷積神經網絡。

4.如權利要求1所述的方法，其特征在于，每一片段包含連續的m幀，m為奇數；幀I_t為訓練樣本中的中間幀。

5.如權利要求4所述的方法，其特征在于，m取值為5。