[發明專利]一種基于邊界感知對抗學習的大氣湍流退化圖像復原方法

在審

• 申請號: 202010583739.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111738953A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 崔林艷;姜鴻翔
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;賈玉忠

本發明涉及一種基于邊界感知對抗學習的大氣湍流退化圖像復原方法，包括以下步驟：(1)基于大氣湍流中成像退化機理，構建大氣湍流退化圖像數據集。(2))以DeblurGANv2作為基礎網絡模型，利用構建的大氣湍流退化圖像數據集對其進行模型微調，初步實現基于對抗學習的用于大氣湍流退化圖像復原的網絡模型。(3)針對DeblurGANv2無法有效處理大氣湍流所引起的圖像畸變問題，通過增加邊界輔助監督模塊，作為邊界信息的監督指引，構建邊界感知DeblurGANv2網絡模型，進一步修復大氣湍流所引起的圖像邊緣扭曲現象。(4)在構建的大氣湍流退化圖像數據集上對構建的邊界感知DeblurGANv2網絡模型進行訓練，獲得訓練后的模型。(5)利用訓練后的網絡模型，復原單幀大氣湍流退化圖像，并對復原效果進行定量評估。

技術領域

本發明涉及基于邊界感知對抗學習的大氣湍流退化圖像復原方法，這是一種結合邊界感知算法和生成對抗網絡的深度模型，適用于大氣湍流退化圖像的復原。

背景技術

大氣湍流是造成遠距離光電成像探測系統性能下降的主要原因之一，通過對大氣湍流退化圖像進行復原，可以提高遠距離光電成像探測系統性能。大氣湍流的隨機起伏特性，使得很難建立一個完整的數學模型對退化問題進行建模，因此大氣湍流退化圖像復原尤其是單幀大氣湍流退化圖像復原問題一直以來都是研究的難點技術問題。傳統的用于單幀大氣湍流退化圖像復原的方法，主要包括逆濾波、維納濾波、卡爾曼濾波、基于光學傳遞函數的圖像復原、單幀盲反卷積、總變分方法、Richardson-Lucy(R-L)復原算法等經典算法。傳統方法能在一定程度上解決大氣湍流圖像退化問題，然而它們過于依賴先驗知識，多數只適用于退化形式單一且退化并不嚴重的圖像。

隨著深度學習的不斷發展，基于深度學習的圖像復原技術逐漸引起國內外學者的廣泛關注。騰訊優圖和曠視提出了Scale-recurrent Network(SRN)網絡，對相機抖動等原因導致的圖像退化進行了復原，并在DVD，Lai等數據集上取得了不錯的結果。DeblurGAN模型針對運動模糊圖像進行了復原處理，在GOPRO數據集上取得了不錯的復原效果。已有的深度神經網絡多數只能解決運動模糊導致的圖像退化問題，并不適合處理成像中的復雜情況例如湍流所引起的圖像模糊和圖像畸變情況。針對單幀大氣湍流退化圖像復原問題，前期學者提出了BDATNet，該網絡由一個堆疊的FENSB、一個不對稱的Unet和一個圖像重建子網(IRSubnetwork)組成。BDATNet采用分步訓練的方法，首先將全部訓練集劃分為不同復雜程度的訓練集，并由簡單到復雜依次對網絡進行無監督預訓練，得到預訓練模型后再利用全部訓練集進行正式訓練。該網絡針對空間目標進行盲去卷積，解決了大氣湍流產生的多種模糊退化形式下的復原問題。原始訓練集來自于Satellite Tool Kit(STK)的350張圖片以及網絡上的50張圖片，使用經典的大氣湍流退化模型對其進行長曝光大氣湍流處理，經過旋轉，調整大小，圖片分割等擴充數據集的方法，最終得到了252928張圖片用于訓練。使用的數據制備方法包括添加Gaussian噪聲，Poisson噪聲，以及使用和波長、大氣相干長度等有關的指數函數對原始圖像進行仿真，構建的大氣湍流退化圖像數據集未包含大氣湍流所引起的圖像畸變現象，并且數據集覆蓋的圖像種類只有STK獲得的衛星圖片，覆蓋場景過于單一。

以上研究方法均只針對大氣湍流引起的圖像模糊降質(一種或多種模糊形式)進行了復原處理，未考慮大氣湍流所引起的圖像幾何畸變。對于真實大氣湍流退化圖像而言，同時存在圖像模糊和圖像畸變現象。針對單幀大氣湍流退化圖像復原研究，目前的研究難點主要表現在以下幾個方面：(1)湍流退化圖像具有模糊和畸變兩大特點，較常規退化圖像而言，圖像質量較差、邊緣模糊明顯、物體畸變較嚴重、對比度更低；(2)目前針對大氣湍流退化圖像復原研究的數據集還十分匱乏或者建立的大氣湍流退化圖像數據集未考慮圖像畸變現象且覆蓋場景過于單一，因此需要人工獲取和建立覆蓋場景更為豐富的并且同時包含圖像模糊和圖像畸變現象的大氣湍流退化圖像數據集；(3)現有的基于深度學習的圖像復原方法多數針對運動模糊降質圖像，在網絡模型設計過程中，未充分考慮圖像畸變這一重要因素，從而限制了已有基于深度學習的圖像復原模型在單幀大氣湍流退化圖像復原領域的應用。