[發(fā)明專利]一種基于邊界感知對抗學習的大氣湍流退化圖像復原方法

在審

• 申請?zhí)枺?/td>: 202010583739.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111738953A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設計）人: 崔林艷;姜鴻翔
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;賈玉忠

1.一種基于邊界感知對抗學習的大氣湍流退化圖像復原方法，其特征在于，包括以下步驟：

(1)基于大氣湍流中成像退化機理，構建大氣湍流退化圖像數(shù)據(jù)集；

(2)以DeblurGANv2作為基礎網(wǎng)絡模型，利用步驟(1)構建的大氣湍流退化圖像數(shù)據(jù)集對其進行模型微調(diào)，初步實現(xiàn)基于對抗學習的用于大氣湍流退化圖像復原的網(wǎng)絡模型；

(3)增加邊界輔助監(jiān)督模塊，作為邊界信息的監(jiān)督指引，構建用于大氣湍流退化圖像復原的邊界感知DeblurGANv2網(wǎng)絡模型，進一步修復大氣湍流所引起的圖像邊緣扭曲現(xiàn)象；

(4)針對步驟(3)構建的用于大氣湍流退化圖像復原的邊界感知DeblurGANv2網(wǎng)絡模型，在步驟(1)獲得的大氣湍流退化圖像數(shù)據(jù)集上對其進行模型訓練，獲得訓練后的邊界感知DeblurGANv2模型；

(5)利用步驟(4)訓練得到的邊界感知DeblurGANv2模型，分別對仿真的和真實獲取的單幀大氣湍流退化圖像進行復原，并對復原結果進行定量評估。

2.根據(jù)權利要求1所述的基于邊界感知對抗學習的大氣湍流退化圖像復原方法，其特征在于：所述步驟(1)中，基于大氣湍流中成像退化機理，構建大氣湍流退化圖像數(shù)據(jù)集的方法如下：

大氣湍流退化圖像仿真過程中考慮大氣湍渦各向異性的特點，設置參數(shù)以保證水平與豎直方向湍渦尺度的不對稱性，湍流譜指數(shù)也在[3，4]區(qū)間進行動態(tài)取值；在此基礎上理論計算大氣湍流調(diào)制傳遞函數(shù)和光波到達角起伏方差理論模型，完成模糊模型F與畸變模型D的設計；原始輸入圖像I與輸出圖像O的關系用以下公式表達：

O(x,y)＝D(F(I(x,y)))

其中，(x,y)對應圖像x和y方向上的索引；首先設置仿真的湍流相關參數(shù)，包括波長、湍流譜指數(shù)、湍流強度、湍流內(nèi)外尺度，根據(jù)以上參數(shù)確定大氣湍流所引起的光波到達角起伏方差理論模型以及高斯模糊核，其中高斯模糊核為大氣湍流調(diào)制函數(shù)理論模型的傅里葉反變換的形式；利用高斯模糊核對原始輸入圖像進行卷積操作，得到模糊退化圖像；

然后將隨機生成的頻域復數(shù)矩陣R_w作為濾波器對空間功率譜密度函數(shù)P_β進行濾波；其中R_w＝M+iN，M和N為隨機生成矩陣且滿足正態(tài)分布，它們分別是復數(shù)矩陣R_w的實部和虛部，i為虛數(shù)單位，這種隨機性模擬了大氣湍流的隨機變化特性；空間功率譜密度函數(shù)P_β(f)＝f^-3用來反映圖像的畸變情況，f表示頻域頻率；利用P_β(f)對頻域復數(shù)矩陣R_w進行低通濾波，得到濾波后的頻域隨機場；經(jīng)過該濾波后的結果既保證了大氣湍流影響的隨機性，同時保證了畸變存在空間相關性，即退化圖像符合人眼視覺效果；

最后對上述頻域隨機場進行傅里葉反變換將其轉化到時空域并取模值；根據(jù)初始確定的光波到達角起伏方差理論模型計算出時空域矩陣的方差，至此獲得了水平和豎直方向上的畸變矩陣，結合雙線性插值算法對模糊退化圖像添加畸變處理，最終獲得大氣湍流退化圖像。

從公開VOC 2012和ADE 20K數(shù)據(jù)集中挑選出共計7348張室外大氣湍流多發(fā)場景圖片作為原始清晰圖像，結合上述大氣湍流退化仿真方法，通過調(diào)整湍流強度與模糊核方差參數(shù)，制備大氣湍流退化圖像數(shù)據(jù)集。