[發明專利]一種面向視頻衛星超分辨率重建的深度學習網絡訓練方法

有效

• 申請號: 201810214943.2
• 申請日: 2018-03-15
• 公開（公告）號: CN108346133B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 王中元;陳丹;江奎;易鵬
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

本發明公開了一種面向視頻衛星超分辨率重建的深度學習網絡訓練方法，首先，構建由高分辨率靜態衛星影像組成的訓練樣本集，然后構建面向超分辨重建的CNN網絡結構和設置網絡訓練參數，最后建立深度CNN訓練的損失函數。本發明方法顧及了目標邊緣和像素灰度值對重建誤差度量的影響程度，因而改善了深度CNN網絡的訓練效果，最終促進了基于深度學習的圖像超分辨率方法性能的提升。

技術領域

本發明屬于機器學習技術領域，涉及一種深度學習網絡訓練方法，具體涉及一種面向視頻衛星超分辨率重建的深度學習網絡訓練方法。

技術背景

近年來興起的視頻衛星通過采集連續的動態視頻，為大型動態目標的實時觀測提供了有效手段，從而極大地彌補了傳統的遙感衛星動態觀測能力的不足。視頻衛星時間分辨率的提升是以犧牲空間分辨率為代價，一般而言，視頻衛星的空間分辨率要低于同期的執行靜態或序列影像作業的遙感衛星。例如，我國“吉林一號”上光學星的靜態影像的地面分辨率達到0.72米，而視頻星的動態視頻的地面分辨率只有1.12米。因此，通過超分辨率技術提高視頻衛星影像的空間分辨率具有重要的科學和應用價值。

近年來，多個領域獲得成功應用的深度學習技術被引入圖像的超分辨率重建中，取得了比傳統的字典學習方法更好的效果。典型的基于深度卷積神經網絡(CNN)的超分辨率方法通過大量圖像樣本訓練一個CNN模型，然后將待超分的低分辨率觀測圖像輸入模型，從而預測出一幅高分辨率圖像作為輸出結果。訓練樣本由低分辨率/高分辨率圖像對構成，在對應的高分辨率圖像的監督下，CNN網絡對低分辨率圖像不斷地執行迭代計算，直到生成的重建圖像與監督圖像之間的誤差小于容允門限。這種重建圖像與監督圖像之間誤差的度量方式在深度學習中被稱為損失函數，也即深度學習網絡訓練的優化目標函數。損失函數在深度學習中起著至關重要的作用，它是繼網絡結構外對學習性能影響最大的因素，不同的損失函數定義方式會帶來完全不同的深度學習效果。

現有的基于深度CNN的超分辨率方法，將重建圖像和監督圖像的最小均方誤差(MSE)作為損失函數。這種損失函數的定義方式盡管計算簡單，但在視頻衛星的超分辨率應用場合，同時也存在明顯的局限。首先，它沒有對衛星影像中地物目標的邊緣給予特殊考慮，而實際上，加強不同類型地物邊緣輪廓的清晰度對于衛星影像的判讀具有更大價值。其次，根據亮度掩蔽效應，不同灰度級的像素允許的可察覺失真(或重建誤差)是不一樣的，灰度值越高的像素容允更大的失真，反之亦然；但常規的MSE誤差度量函數計算的是絕對誤差，并沒有考慮像素本身灰度的相對影響。因此，有必要為CNN的訓練過程構造更合理的損失函數，以提高基于深度CNN的圖像超分辨率性能。

發明內容

為了解決上述技術問題，本發明提供了一種面向視頻衛星超分辨率重建的深度學習網絡訓練方法。

本發明所采用的技術方案是：一種面向視頻衛星超分辨率重建的深度學習網絡訓練方法，其特征在于，包括以下步驟：

步驟1：構建由高分辨率靜態衛星影像組成的訓練樣本集；

步驟2：構建面向超分辨重建的CNN網絡結構和設置網絡訓練參數；

步驟3：建立深度CNN訓練的損失函數。

本發明提出的邊緣增強和灰度掩蔽的MSE損失函數，顧及了目標邊緣和像素灰度值在重建誤差度量中的影響，因而改善了深度CNN網絡的訓練效果，最終促進了基于深度學習圖像超分辨率方法性能的提升。具體而言，本發明具有以下優點和積極效果：

(1)通過強化目標邊緣重建誤差在損失函數中的比重，使得網絡訓練過程傾向于維持放大圖像中目標邊緣的保真度；

(2)通過引入灰度加權掩蔽項，度量灰度歸一化后的相對誤差而非絕對誤差，使得失真更符合人眼的主觀感知，因而在同等總體誤差下失真不易被察覺。

附圖說明

圖1：本發明實施例的流程圖。

具體實施方式