[發明專利]一種基于雙層空洞U-Net模型的單幀湍流退化圖像去畸變方法

有效

• 申請號: 202010583740.8
• 申請日: 2020-06-24
• 公開（公告）號: CN111738954B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 崔林艷;姜鴻翔
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;賈玉忠

1.一種基于雙層空洞U-Net模型的單幀湍流退化圖像去畸變方法，其特征在于，包括以下步驟：

(1)結合大氣湍流成像退化物理模型和圖像處理算法，構建大氣湍流畸變圖像數據集；

(2)利用雙層空洞U-Net模型，預測大氣湍流引起的圖像畸變量；所述步驟(2)中，在經典U-Net模型基礎上，設計實現雙層空洞U-Net模型，用于預測大氣湍流引起的圖像畸變量，方法如下：

在單層U-Net輸出結果后再堆疊另一個U-Net，即構建雙層U-Net網絡模型；利用第一個U-Net得到粗粒度的圖像畸變量預測結果，并將其視為先驗知識，而后再將粗粒度預測結果與原始畸變圖像連接，進入第二個U-Net模型中再次進行圖像畸變量的預測；這種雙層U-Net模型綜合圖像深層抽象特征和淺層原始特征，獲得細粒度的預測結果；該雙層U-Net網絡輸出為大氣湍流所引起的水平和豎直兩個方向上的圖像畸變量；

在構建的雙層U-Net模型基礎上，結合空洞卷積，進一步構建網絡結構即雙層空洞U-Net網絡；所述空洞卷積是指在卷積核之間添加空洞，相對于標準的卷積，該卷積核多了一個稱為空洞率的超參數，其表達式為：

其中x為輸入，y為輸出，i為變量下標，r為空洞率，表示卷積的擴張程度，k為卷積核大小；

將空洞卷積與雙層U-Net網絡結合起來，實現基于雙層空洞U-Net模型的單幀大氣湍流退化圖像去畸變；構建的雙層空洞U-Net模型存在兩種連續空洞卷積的連接形式，即并行多尺度空洞卷積和串行多尺度空洞卷積；

(3)結合步驟(1)構建的大氣湍流畸變圖像數據集，訓練雙層空洞U-Net模型到模型訓練參量；

(4)利用步驟(3)訓練得到的雙層空洞U-Net模型計算測試集圖像畸變矩陣，結合圖像反插值算法，得到大氣湍流退化圖像去畸變結果。

2.根據權利要求1所述的一種基于雙層空洞U-Net模型的單幀湍流退化圖像去畸變方法，其特征在于：

所述步驟(1)中，結合大氣湍流成像退化物理模型和圖像處理算法，構建大氣湍流畸變圖像數據集，方法如下：首先需要獲取無湍流的清晰圖像作為真值，利用公開的PASCALVOC2012和ADE20K數據集，從中人工挑選出室外易發生大氣湍流的場景圖像作為清晰無湍流真值；然后，結合大氣湍流成像退化物理模型和圖像處理算法，構建大氣湍流退化圖像數據集；大氣湍流所引起的圖像畸變與光波到達角起伏這一物理現象有關，為了與真實場景下的大氣湍流相吻合，仿真過程中考慮大氣湍渦各向異性的特點，設置參數以保證水平與豎直方向湍渦尺度的不對稱性，湍流譜指數也在[3,4]區間進行動態取值；

首先，設置仿真條件和參數數值，即各向異性因子、湍流譜指數、湍流強度、湍流內外尺度和成像距離，理論計算各向異性非Kolmogorov湍流光波到達角起伏方差理論模型；然后在頻域內隨機生成滿足正態分布的復數矩陣，在對其進行低頻平滑處理的基礎上進行傅里葉反變換轉換到時域空間；根據理論計算得到的光波到達角起伏方差理論模型來確定時空域矩陣的方差，從而獲得大氣湍流引起的圖像水平和豎直方向畸變矩陣；最后，在已知圖像水平和豎直方向畸變矩陣的條件下，使用圖像雙線性插值算法進行圖像畸變仿真；通過改變大氣湍流強度，構建包含多種大氣湍流強度的用于大氣湍流去畸變處理的圖像數據集。

3.根據權利要求1所述的一種基于雙層空洞U-Net模型的單幀湍流退化圖像去畸變方法，其特征在于：所述步驟(3)中，根結合步驟(1)構建的大氣湍流畸變圖像數據集，訓練雙層空洞U-Net模型，得到模型訓練參量，方法如下：

首先對構建的大氣湍流退化圖像數據集進行圖片尺寸的調整，通過添加邊界擴充來保證尺度不變，通過對構建的整個大氣湍流退化圖像數據集進行預處理，即先調整圖片大小后進行中心裁剪，大小為512*512，獲取對應畸變量為2*512*512的浮點數矩陣；

然后對構建的雙層空洞U-Net進行模型訓練，在訓練時設置優化器為adam優化器，超參數學習率Δ為0.0001，batchsize為4，訓練輪數epoch設置在20-30之間，每輪訓練迭代次數iteration為6600，將圖片輸入至網絡后添加歸一化操作進行訓練；經過模型訓練，最終得到能夠用于預測大氣湍流所引起的圖像畸變量的模型。