[發明專利]一種用于監控視頻增強的漸進式特征流深度融合網絡

有效

• 申請號: 202011230728.5
• 申請日: 2020-11-06
• 公開（公告）號: CN112348766B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳瑞;楊航;宮霄霖;張衡
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/0455;G06N3/0464;G06N3/048
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

本發明公開一種用于監控視頻增強的漸進式特征流深度融合網絡，包括用于對監控視頻進行亮度增強的多級特征流融合網絡；所述多級特征流融合網絡包括U形融合模塊UFM，輸入與所述U形融合模塊UFM的輸出連接的跨尺度融合模塊CFM；所述U形融合模塊UFM的輸入連接第一基本卷積層的輸出，所述跨尺度融合模塊CFM的輸出第二基本卷積層的輸入；所述第一基本卷積層的輸入與輸入側結合一卷積層的滲漏整流線性單元的輸出連接，所述第二基本卷積層的輸出連接幀重建模塊的輸入。本發明能解決監控視頻中存在的低光照的問題。

技術領域

本發明涉及監控視頻增強技術領域，特別是涉及一種用于監控視頻增強的漸進式特征流深度融合網絡。

背景技術

監控視頻增強技術旨在將原始監控場景采集的視頻增強。由于原始監控視頻的采集場景復雜，采集到的視頻通常包含噪聲、模糊等退化，且當監控視頻采集場景的光照強度較低時，噪聲和模糊的程度會更加嚴重。監控視頻增強技術在現實中有著廣泛的需求，如實時增強視頻質量輔助監控分析，提升人臉識別、車輛和文字檢測等高層次視覺任務的精度。通常從同一幀中恢復出清晰的幀有多個可能的解，因此視頻增強是典型的不適定問題，需要根據先驗約束找出最優的退化幀到基準幀(Ground?Truth，GT)間的映射關系，達到更好視頻增強效果。

傳統低光照增強技術主要有基于直方圖均衡化的方法和基于Retinex理論的方法。基于直方圖均衡化的方法通過擴大圖像的動態范圍進而增強圖像對比度，但可能會導致過度增強。基于Retinex的方法依賴于人工選擇參數，并且會放大噪聲。基于深度學習的方法主要是通過從大量的數據集中學習低對比度單幀圖像到高對比度單幀圖像的映射。一些研究采用卷積神經網絡模擬Retinex算法的處理過程，首先將輸入的單幀圖像分解成光照圖和反射圖，然后對這兩個分量分別處理，最后重建出增強后的單幀圖像。為了解決黑暗區域的大量存在的偽影和噪聲，一些研究使用多分支卷積神經網絡對不同深度的特征進行重建，最后融合這些重建特征，進而得到亮度增強后的單幀圖像。盡管這些方法在合成數據集上取得了較好的效果，但在真實世界的數據中往往會產生偽影和色彩偏移。基于生成對抗網絡的深度學習模型可以使用未配對的數據集進行訓練。生成對抗網絡模型中包含兩個網絡進行對抗訓練。一是判別網絡，目標是盡可能準確判斷一個樣本是來自于真實數據還是生成網絡產生的；另一個是生成網絡，目標是盡量生成判別網絡無法區分來源的樣本。這兩個目標相反的網絡進行交替訓練，直到判別網絡無法區分數據來源。盡管其在真實場景下取得了較好的結果，但需要精心地挑選未配對的圖像，以達到良好的亮度增強效果。

早期的視頻去模糊方法通常假設視頻中存在銳利圖像結構，并通過對其進行插值恢復中間幀。這種方法利用了相鄰幀中存在的銳利圖像結構信息來恢復中間幀，但往往會產生過于平滑的效果，因為視頻中不總是存在足夠的銳利結構信息。基于變分法的視頻去模糊算法通過建立各種先驗來約束中間幀和光流進行視頻去模糊。這種基于光流的運動模糊估計方法的性能通常受限于光流估計的準確性。為了改善這種缺陷，一些研究使用具有強大表示能力的卷積神經網絡估計光流，然后通過傳統反卷積算法來恢復中間幀。

卷積神經網絡具有強大的表示能力，可以從大量的數據中建立模糊圖像到清晰圖像之間的映射。基于編碼器和解碼器架構的卷積神經網絡被成功應用于視頻去模糊中。為了利用相鄰幀之間的冗余信息，基于深度遞歸神經網絡的模型被提出用于視頻去模糊。這類模型通過反復利用前一幀的信息來幫助恢復中間幀，但其對相鄰幀信息的利用還不夠充分。由于相鄰幀之間存在一定抖動，必須先將輸入幀序列對齊才能進一步融合，針對這個問題基于光流對齊的深度學習模型被提出。這類模型通過光流來描述運動并做出運動補償從而達到對齊的目的。還有一些模型使用3D卷積捕獲相鄰幀之間的時間和空間信息，從而更好地恢復中間幀圖像，但這些模型對時間和空間冗余信息的利用不夠充分。一些模型提出時間和空間注意力機制，來更好地融合對齊后的圖像。這些模型在特定的公開數據集上取得了良好的效果，但這些數據集是由移動設備采集，再經人工合成的較為理想的數據集。然而監控場景下，視頻質量受多種因素干擾，并且退化復雜，使得兩者的數據分布差異很大，因此在監控場景下這些模型是不適用的。

發明內容