[發明專利]基于顯式光流對齊融合的視頻去雨雪方法

在審

• 申請號: 202111096445.0
• 申請日: 2021-09-17
• 公開（公告）號: CN113781353A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 趙浩;劉漢武;陳梅麗;傅一丹;江晨
• 申請（專利權）人: 杭州當虹科技股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T3/00;G06T7/246;G06T7/269;G06K9/00
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 劉芬豪

1.一種基于顯式光流對齊融合的視頻去雨雪方法，其特征在于，包括：

訓練部分包括數據預處理，顯示光流計算，多幀融合和目標函數優化步驟，推理部分包括視頻預處理、模型推理和視頻合成步驟；

所述數據預處理用于處理視頻幀并得到訓練樣本對，將訓練樣本對交由顯式光流計算和目標函數優化處理；

所述顯式光流計算首先計算輸入的當前幀與左右相鄰幀的光流運動信息，再由光流運動信息計算得到當前幀的估計幀，最后將估計幀與當前幀同時傳遞給多幀融合；

多幀融合用于根據顯式光流估計得到的空間相對運動信息指導當前幀的雨雪紋理的定位和去除，將融合后的預測幀交給目標函數優化進行參數更新；

目標函數優化用于對多幀融合輸出的圖像與數據預處理提供的參考圖像之間的損失函數進行梯度下降法優化，用于模型的訓練；

視頻預處理用于將輸入的一段雨雪場景下的視頻序列處理成若干組圖像序列，提供給模型推理和視頻合成使用；

模型推理根據訓練部分的顯式光流計算和多幀融合步驟，根據輸入的當前幀與當前幀的左右相鄰幀計算得到預測輸出幀；

視頻合成用于將所述預測輸出幀進行合成處理，生成視頻形式保存。

2.如權利要求1所述的基于顯式光流對齊融合的視頻去雨雪方法，其特征在于，訓練部分進一步包括可視化和調節步驟，可視化和調節用于是對多幀融合步驟輸出的圖像序列和目標函數優化在訓練部分中產生的超參數做規范處理，進行可視化和調節操作。

3.如權利要求1或2所述的基于顯式光流對齊融合的視頻去雨雪方法，其特征在于，所述樣本對包括雨雪場景下的連續幀序列和對應的正常場景下的參考幀，雨雪場景下的連續幀序列包括待處理的當前幀，當前幀的左相鄰幀和前幀的右相鄰幀，對應的正常場景下的參考幀為處理后的當前幀。

4.如權利要求3所述的基于顯式光流對齊融合的視頻去雪方法，其特征在于，對于靜止場景，樣本對中雨雪場景和正常場景下的視頻序列為使用相同攝像設備相同時段在相同地點分別拍攝下相同時長的雨雪天氣和晴朗天氣的同一場景，得到樣本序列。

5.如權利要求3所述的基于顯式光流對齊融合的視頻去雪方法，其特征在于，樣本對中雨雪場景下的視頻序列為使用合成的方式模擬雨雪場景。

6.如權利要求1或2所述的基于顯式光流對齊融合的視頻去雨雪方法，其特征在于，所述光流運動信息計算過程如下：通過若干個依次設置的采樣、仿射變換和光流估計得到估計幀。

7.如權利要求1或2所述的基于顯式光流對齊融合的視頻去雨雪方法，其特征在于，多幀融合包括多個卷積核尺寸不同的卷積層和ReLU激活層。

8.如權利要求1或2所述的基于顯式光流對齊融合的視頻去雨雪方法，其特征在于，每組圖像序列由當前幀與其左右相鄰幀總共三幀組成。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至8中任一項所述的方法的步驟。