[發明專利]一種基于時空域殘差生成對抗網絡的視頻湍流移除方法

有效

• 申請號: 201910375101.X
• 申請日: 2019-05-07
• 公開（公告）號: CN110223242B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 白相志;晉達睿
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/10
• 代理公司: 北京慧泉知識產權代理有限公司 11232
• 代理人: 王順榮;唐愛華

本發明一種基于時空域殘差生成對抗網絡的視頻湍流移除方法，步驟如下：步驟一：由湍流移除網絡G實現高質量湍流移除圖像的生成；步驟二：利用湍流存在性判別網絡D對生成湍流移除圖像進行分類判別；步驟三：構造序列感知損失函數L_series。本發明引入三維視頻處理單元提升對于時域特征的提取能力和質量，利用殘差模塊和全局殘差連接提升信息流的傳遞效率，加速網絡的訓練和收斂。通過序列感知損失函數對湍流圖像的幾何畸變、光閃爍和模糊等現象進行校正，利用基于序列輸入的生成對抗損失保持圖像細節特征和時域上的連續性，生成清晰的湍流移除圖像。本發明可以與視頻監控系統、遠距離監視系統等應用密切結合，具廣闊的市場前景與應用價值。

技術領域

本發明涉及一種基于時空域殘差生成對抗網絡(TSR-WGAN)的視頻湍流去除方法，屬于數字視頻處理、模式識別和計算機視覺領域。它主要涉及卷積神經網絡(CNN)和生成對抗策略(GAN)，具體涉及一種視頻序列湍流移除模型。

背景技術

圖像復原是利用單張或多張退化圖像以及相應退化過程中的先驗知識得到退化前理想圖像的技術。圖像的退化將嚴重影響相關頂層視覺處理任務的進行如目標探測、識別和解析等。因此圖像復原是計算機視覺和模式識別領域當中一項具有重要意義的預處理技術。導致圖像退化的主要原因包括兩方面：成像設備的影響和成像外部環境的影響。退化的主要形式為噪聲、模糊、幾何畸變以及低分辨率等。針對圖像具體退化原因和退化形式的差異，不同數學模型被應用于圖像的復原中如高斯混合模型和各類貝葉斯框架等。湍流是引起圖像退化的常見原因之一。由于不同物質吸收熱輻射以及其比熱容性質的不同，在一定的天氣條件下，地面與其上層氣體間將存在明顯的溫度差異，在熱傳遞效應下，靠近地面的空氣溫度不斷升高，性質穩定的空氣流層不斷變薄，下層熱空氣快速上升，導致局部空氣在折射率上發生劇烈的變化，進而使光線傳輸路徑發生變化，在成像上呈現出幾何畸變同時伴隨時變-空變的模糊效應。此類問題是高溫環境下的常見問題，對遠距離監視等相關軍事領域應用有較大的影響。

目前，針對湍流影響下的退化圖像，多數傳統方法的基本框架是利用僅包含靜態目標的退化圖像序列恢復單幀高質量圖像，主要包括圖像融合和盲反卷積方法兩類。M.A.Vorontsov提出了一種基于結合各向異性增益的非線性發展偏微分方程的圖像合成算法(參見文獻：沃龍佐夫,卡哈特.擾動介質條件下的非等暈成像:基于短曝光序列局部融合的圖像恢復.美國光學協會,卷18,1312-1327,2001.(M.A.Vorontsov and G.W.Carhart,“Anisotropic imaging through turbulent media:image recovery by localinformation fusion from a set of short-exposure images,”J.Optical Soc.Am.A,vol.18,no.6,pp.1312-1324,2001))，該算法考慮各向異性增益且對短曝光視頻幀序列中的lucky region同步進行提取和融合操作，得到不包含湍流的合成圖像。M.Shimizu等人提出以消除了局部運動和全局運動的平均幀為基準，利用非嚴格配準算法對序列圖像進行配準，之后使用多幀超分辨率重建對平均幀的細節細節進行恢復得到復原圖像(清水,吉村,田中,奧富.湍流成像序列的超分辨率重建方法.美國電子電氣工程師學會計算機視覺與模式識別國際會議.2008.(M.Shimizu,S.Yoshimura,M.Tanaka and M.Okutomi,“Super-Resolution from Image Sequence under Influence of Hot-Air OpticalTurbulence,”Proc.IEEE Conf.Computer Vision and Pattern Recognition,2008))。該算法通過平均幀消除湍流帶來的幾何畸變，利用多幀超分辨率重建消除平均幀中的模糊效應，得到了圖像細節。N.Anantrasirichai等人在傳統的配準-融合框架下，在進行感興趣區域提取前進行高質量幀選取操作，并提出了基于對偶樹復數域小波變換的區域級融合算法恢復退化圖像(安南,阿希姆,金斯伯里,布爾.基于復數域曲波變換的湍流圖像恢復方法.美國電子電氣工程師學會圖像處理匯刊.卷22,2398-2408,2013.(N.Anantrasirichai,A.Achim,N.G.Kingsbury,D.R.Bull,“Atmospheric Turbulence Mitigation UsingComplex Wavelet-Based Fusion,”IEEE Trans on Image Processing,vol.22,no.6,pp.2398-2408,2013))。M.Hirsch等人將湍流導致的圖像退化作為一種空變的卷積運算，并提出了一種高效的反卷積運算框架對退化卷積核及原始圖像的估計進行計算(赫希,斯拉,斯科爾科普夫,哈梅林.針對空域變化多框架反卷積的高效濾波算法.美國電子電氣工程師學會計算機視覺與模式識別國際會議,2010.(M.Hirsch,S.Sra,B.Scholkopf andS.Harmeling,“Efficient Filter Flow for Space-Variant Multiframe BlindDeconvolution”,Proc IEEE Computer Vision and Pattern Recognition,pp.607-614,2010))。X.Zhu等人則基于配準后的序列圖像利用時域核回歸得到單幀近衍射受限的結果，建立空不變的退化模型并使用反卷積方法從圖像中移除衍射受限模糊(朱,米拉法.基于空不變反卷積的湍流圖像復原.美國電子電氣工程師學會模式分析與機器智能匯刊.卷35,157-170，2013.(X.Zhu and P.Milanfar,“Removing Atmospheric Turbulence viaSpace-Invariant Deconvolution,”IEEE Trans.Pattern Analysis and MachineIntelligence,vol.35,no.1,pp.157-170,2013))。