[發明專利]一種基于邊界感知對抗學習的大氣湍流退化圖像復原方法

在審

• 申請號: 202010583739.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111738953A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 崔林艷;姜鴻翔
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;賈玉忠

1.一種基于邊界感知對抗學習的大氣湍流退化圖像復原方法，其特征在于，包括以下步驟：

(1)基于大氣湍流中成像退化機理，構建大氣湍流退化圖像數據集；

(2)以DeblurGANv2作為基礎網絡模型，利用步驟(1)構建的大氣湍流退化圖像數據集對其進行模型微調，初步實現基于對抗學習的用于大氣湍流退化圖像復原的網絡模型；

(3)增加邊界輔助監督模塊，作為邊界信息的監督指引，構建用于大氣湍流退化圖像復原的邊界感知DeblurGANv2網絡模型，進一步修復大氣湍流所引起的圖像邊緣扭曲現象；

(4)針對步驟(3)構建的用于大氣湍流退化圖像復原的邊界感知DeblurGANv2網絡模型，在步驟(1)獲得的大氣湍流退化圖像數據集上對其進行模型訓練，獲得訓練后的邊界感知DeblurGANv2模型；

(5)利用步驟(4)訓練得到的邊界感知DeblurGANv2模型，分別對仿真的和真實獲取的單幀大氣湍流退化圖像進行復原，并對復原結果進行定量評估。

2.根據權利要求1所述的基于邊界感知對抗學習的大氣湍流退化圖像復原方法，其特征在于：所述步驟(1)中，基于大氣湍流中成像退化機理，構建大氣湍流退化圖像數據集的方法如下：

大氣湍流退化圖像仿真過程中考慮大氣湍渦各向異性的特點，設置參數以保證水平與豎直方向湍渦尺度的不對稱性，湍流譜指數也在[3，4]區間進行動態取值；在此基礎上理論計算大氣湍流調制傳遞函數和光波到達角起伏方差理論模型，完成模糊模型F與畸變模型D的設計；原始輸入圖像I與輸出圖像O的關系用以下公式表達：

O(x,y)＝D(F(I(x,y)))

其中，(x,y)對應圖像x和y方向上的索引；首先設置仿真的湍流相關參數，包括波長、湍流譜指數、湍流強度、湍流內外尺度，根據以上參數確定大氣湍流所引起的光波到達角起伏方差理論模型以及高斯模糊核，其中高斯模糊核為大氣湍流調制函數理論模型的傅里葉反變換的形式；利用高斯模糊核對原始輸入圖像進行卷積操作，得到模糊退化圖像；

然后將隨機生成的頻域復數矩陣R_w作為濾波器對空間功率譜密度函數P_β進行濾波；其中R_w＝M+iN，M和N為隨機生成矩陣且滿足正態分布，它們分別是復數矩陣R_w的實部和虛部，i為虛數單位，這種隨機性模擬了大氣湍流的隨機變化特性；空間功率譜密度函數P_β(f)＝f^-3用來反映圖像的畸變情況，f表示頻域頻率；利用P_β(f)對頻域復數矩陣R_w進行低通濾波，得到濾波后的頻域隨機場；經過該濾波后的結果既保證了大氣湍流影響的隨機性，同時保證了畸變存在空間相關性，即退化圖像符合人眼視覺效果；

最后對上述頻域隨機場進行傅里葉反變換將其轉化到時空域并取模值；根據初始確定的光波到達角起伏方差理論模型計算出時空域矩陣的方差，至此獲得了水平和豎直方向上的畸變矩陣，結合雙線性插值算法對模糊退化圖像添加畸變處理，最終獲得大氣湍流退化圖像。

從公開VOC 2012和ADE 20K數據集中挑選出共計7348張室外大氣湍流多發場景圖片作為原始清晰圖像，結合上述大氣湍流退化仿真方法，通過調整湍流強度與模糊核方差參數，制備大氣湍流退化圖像數據集。