[發明專利]一種基于時間與空間的視頻去反光方法

在審

• 申請號: 202211031456.5
• 申請日: 2022-08-26
• 公開（公告）號: CN115424173A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 楊柏林;李海東;宋超
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/44;G06N3/08;G06N3/04
• 代理公司: 杭州奧創知識產權代理有限公司 33272
• 代理人: 王佳健

本發明公開了一種基于時間與空間的視頻去反光方法，首先制作用于訓練的帶有反光的視頻幀數據集；其次將得到的測試集使用編碼器獲取視頻幀的特征信息，之后將取得到的特征信息，以及經過計算獲取位置信息共同輸入到時空間卷積自注意力子網絡當中獲取特征信息；然后使用預訓練好的VGG?19網絡作為增強策略，提取超列特征，并將這些增強后的特征作為去反光模塊的輸入；最后使用反光模塊以及重建模塊生成去反光視頻幀。本發明考慮到了視頻幀之間的時間與空間連貫性，能夠有效的獲取交錯視頻幀之間的時間與空間信息，能夠得到精確的去反光視頻幀。

技術領域

本發明屬于人工智能視頻處理技術領域，具體涉及一種基于時間與空間的視頻去反光方法。

背景技術

視頻中的反光是在反光表面(如玻璃)后拍攝視頻時經常發生的視覺問題，這些反光降低了視頻的質量，導致信息丟失，降低了許多計算機視覺算法的準確性。包含反光的視頻是背景層和反光層的組合，因此，反光去除相當于將視頻分解為兩層。然而，這是一個具有挑戰性和不確定性的問題，因為存在大量毫無意義的分解。

隨著數字設備和視頻技術的普及，視頻已成為最重要的信息載體之一。數字設備的用戶遇到的視頻捕捉條件可能遠遠不是最佳的。例如，當在建筑物或汽車內的玻璃窗后面拍攝視頻時，來自室內物體的反光可能會阻礙戶外有趣的場景。這些反光的形成降低了視頻的質量，并且降低了目標物體的能見度。

去除反光的問題已經在圖像領域進行了廣泛的探索和研究，并且取得了不錯的進展，而視頻反光的去除問題較少受到重視。回顧了圖像和視頻反光去除的相關文獻，自然圖像中的反光是兩個不同的畫面合成的一種特殊情況，通過加法混合在一起形成最終的圖像。傳統的單圖像反光去除處理不適定問題依賴于強假設。例如，Levin等人利用自然序列中的導數濾波器和邊緣檢測器的統計量作為圖像先驗，將圖像分解為兩層。Li和Brown等人假設背景和反光層都有稀疏的梯度，而反光層要平滑得多。Fan等人最近探索了使用深度神經網絡去除圖像反光，該論文介紹了兩個子網絡：一個用于預測背景層的邊緣圖，另一個用于利用該邊緣圖重建背景層。然而，這種技術僅限于模糊反光工件，在具有強烈紋理反光的場景中，邊緣預測子網絡失效，破壞背景層重建。

前面提到的所有方法都是為了去除單張圖像上的反光。對于視頻幀的修復不僅需要考慮到像素空間之間的聯系，也要考慮到相鄰視頻幀時間上的關聯。簡單地將之前的圖像技術擴展到視頻中，例如對一幀一幀地應用該方法，并不能提供準確的結果，因為它會導致生成的結果觀察到不完全分離和時間上的閃爍。

因此，設計并實現一種能夠有效考慮到時間與空間信息的去除反光的方法，具有較強的現實意義和應用價值。

近些年來，由于Transformer(變換器)在計算機視覺上的強大應用，Cao J等人提出了VSR，采用Transformer并且融合了光流的方法，解決了視頻超分辨的問題，取得了比較好的效果。F.Yang等人提出了TTSR，將Transformer和參考圖片的方法相結合，提出了一種新的處理單張圖片的超分辨率方法，取得了不錯的效果。整體看來，Transformer對于視頻增強的研究有著很好的效果，它的效果在某些程度上超過了CNN(卷積神經網絡)網絡，說明該網絡架構對特征的時空間連續性的特性剛好可以解決去橫紋問題，因此可以將Transformer應用在視頻去反光上。

發明內容

本發明主要是解決現有技術所存在的上述問題，提供一種基于時間與空間的視頻去反光方法，主要針對視頻中存在反光的問題，研究了視頻序列中背景層的恢復，將時間上連續的有反光現象的視頻幀序列修復成沒有反光的視頻幀序列，以便提高用戶的視覺感受。

本發明具體包括以下步驟：

步驟一：使用Vimeo90K視頻數據集，按照一定的比例劃分訓練集和測試集。分別將該數據集的訓練集和測試集都使用反光圖片制作的方式生成反光視頻幀用于訓練和測試。

首先采用反光圖片制作的方式，制作帶有反光的視頻幀數據集，將反光視頻幀定義為：