[發明專利]基于顯式光流對齊融合的視頻去雨雪方法

在審

• 申請號: 202111096445.0
• 申請日: 2021-09-17
• 公開（公告）號: CN113781353A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 趙浩;劉漢武;陳梅麗;傅一丹;江晨
• 申請（專利權）人: 杭州當虹科技股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T3/00;G06T7/246;G06T7/269;G06K9/00
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 劉芬豪

本發明公開了一種基于顯式光流對齊融合的視頻去雨雪方法，包括訓練部分和推理部分，訓練部分包括數據預處理，顯示光流計算，多幀融合和目標函數優化步驟，推理部分包括視頻預處理、模型推理和視頻合成步驟；所述顯式光流計算首先計算輸入的當前幀與左右相鄰幀的光流運動信息，再由光流運動信息計算得到當前幀的估計幀，最后將估計幀與當前幀同時傳遞給多幀融合；視頻預處理用于將輸入的一段雨雪場景下的視頻序列處理成若干組圖像序列；模型推理根據訓練部分的顯式光流計算和多幀融合步驟，根據輸入的當前幀與當前幀的左右相鄰幀計算得到預測輸出幀。

技術領域

本發明屬于視頻處理技術領域，具體涉及一種基于顯式光流對齊融合的視頻去雨雪方法。

背景技術

在現實生活中，因為雨雪會對道路上的路況造成一定程度的遮擋，駕駛車輛行駛在下大雨或大雪的惡劣天氣下是非常危險的；慢直播過程中去除因雨雪遮擋而造成的觀看效果差，造成對物體識別應用場景的干擾。以上所述的情況都需要對影片進行后期的去雨雪處理。

目前針對視頻去雨雪的研究大多數基于模型驅動的方法，將雨雪當成噪聲分量，使用低秩稀疏分解算法分離出來，或者從頻域角度濾波，達到去雨雪的目的，這類方法忽略了雨雪與視頻圖像背景紋理之間的關系，或多或少會去除無雨雪區域的紋理細節，去除效果不好。

還有基于數據驅動的方法，采用神經網絡模型，結合大量數據進行訓練，這種方法缺點是需要大量成對的數據，而真實的樣本數據是很難獲取且獲取方式繁瑣，如果采用合成雨雪的方式擴充數據，會由于合成樣本的分布與真實樣本分布存在差異導致訓練泛化效果差；同時這類方法很難實時處理視頻流。

發明內容

針對以上問題，本發明提供一種基于顯式光流對齊融合的視頻去雨雪方法，用于解決類似慢直播等視頻應用場景下的雨雪天氣對畫面的遮擋，影響觀看效果的問題。

為解決上述技術問題，本發明采用如下的技術方案：

本發明第一方面提供了一種基于顯式光流對齊融合的視頻去雨雪方法，包括：

訓練部分包括數據預處理，顯示光流計算，多幀融合和目標函數優化步驟，推理部分包括視頻預處理、模型推理和視頻合成步驟；

所述數據預處理用于處理視頻幀并得到訓練樣本對，將訓練樣本對交由顯式光流計算和目標函數優化處理；

所述顯式光流計算首先計算輸入的當前幀與左右相鄰幀的光流運動信息，再由光流運動信息計算得到當前幀的估計幀，最后將估計幀與當前幀同時傳遞給多幀融合；

多幀融合用于根據顯式光流估計得到的空間相對運動信息指導當前幀的雨雪紋理的定位和去除，將融合后的預測幀交給目標函數優化進行參數更新；

目標函數優化用于對多幀融合輸出的圖像與數據預處理提供的參考圖像之間的損失函數進行梯度下降法優化，用于模型的訓練；

視頻預處理用于將輸入的一段雨雪場景下的視頻序列處理成若干組圖像序列，提供給模型推理和視頻合成使用；

模型推理根據訓練部分的顯式光流計算和多幀融合步驟，根據輸入的當前幀與當前幀的左右相鄰幀計算得到預測輸出幀；

視頻合成用于將所述預測輸出幀進行合成處理，生成視頻形式保存。

優選地，訓練部分進一步包括可視化和調節步驟，可視化和調節用于是對多幀融合步驟輸出的圖像序列和目標函數優化在訓練部分中產生的超參數做規范處理，進行可視化和調節操作。

優選地，所述樣本對包括雨雪場景下的連續幀序列和對應的正常場景下的參考幀，雨雪場景下的連續幀序列包括待處理的當前幀，當前幀的左相鄰幀和前幀的右相鄰幀，對應的正常場景下的參考幀為處理后的當前幀。