[發明專利]一種雙流特征學習生成對抗網絡的低分辨率船舶分類方法

有效

• 申請號: 202011536094.6
• 申請日: 2020-12-23
• 公開（公告）號: CN112651329B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 王棟;郗岳;寇雅楠;鄭江濱;李學仁;潘勃;李秋妮;孫曜;范曉宸;劉德陽;馮軍美
• 申請（專利權）人: 中國人民解放軍空軍工程大學
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安創知專利事務所 61213
• 代理人: 馬鳳云

1.一種雙流特征學習生成對抗網絡的低分辨率船舶分類方法，其特征在于，該方法包括以下步驟：

步驟一、建立船舶圖像訓練集：在HRSC數據集中選取多種不同類型船型的多張高分辨率船舶圖像組成高分辨率船舶圖像集，所述高分辨率船舶圖像集中圖像數量不少于500張，對高分辨率船舶圖像集中每張高分辨率船舶圖像進行低分辨率處理，得到每張高分辨率船舶圖像對應的低分辨率船舶圖像，多張高分辨率船舶圖像和其對應的低分辨率船舶圖像構成船舶圖像訓練集；

所述船舶圖像訓練集中每張高分辨率船舶圖像和其對應的低分辨率船舶圖像組成一組船舶圖像訓練組；

步驟二、構建并訓練雙流通道圖像分解器，過程如下：

步驟201、構建集高頻圖像分解器和低頻圖像分解器為一體的雙流通道圖像分解器φ，同時構建對高頻分量進行重構的高頻解碼器和對低頻分量進行重構的低頻解碼器并對雙流通道圖像分解器φ、高頻解碼器和低頻解碼器進行初始化；

其中，雙流通道圖像分解器φ、高頻解碼器和低頻解碼器構成雙流通道圖像分解模型；

步驟202、調取船舶圖像訓練集中的圖像，先將每張圖像送入雙流通道圖像分解器φ中對其進行分解，得到每張圖像對應的高頻圖像h^H和低頻圖像h^L；再利用高頻解碼器對每張圖像對應的高頻圖像h^H進行重構，利用低頻解碼器對每張圖像對應的低頻圖像h^L進行重構；

步驟203、根據公式ξ＝λ₁ξ_rec+λ₂ξ_e，計算雙流通道圖像分解模型的損失目標函數ξ，其中，ξ_rec為最小化重構損失函數且x為船舶圖像訓練集中的任一圖像的像素矩陣，x'_H為x的高頻分量重構像素矩陣，x'_L為x的低頻分量重構像素矩陣，||·||₂為二范數；ξ_e為能量損失函數且λ₁為ξ_rec的權重系數，λ₂為ξ_e的權重系數且λ₁+λ₂＝1；

步驟204、當ξ的值落入損失目標閾值區間內時，雙流通道圖像分解模型訓練完成，獲取訓練好的雙流通道圖像分解器φ；

步驟三、優化基于特征學習的生成對抗網絡，過程如下：

步驟301、第i組船舶圖像訓練組的分解，過程如下：

步驟3011、調取第i組船舶圖像訓練組，利用訓練好的雙流通道圖像分解器φ對其中的高分辨率船舶圖像進行分解，得到高分辨率高頻分量船舶圖像p^H和高分辨率低頻分量船舶圖像p^L；其中，i為船舶圖像訓練組編號且i＝1，2，…，I，I為船舶圖像訓練集中船舶圖像訓練組的總組數；

利用訓練好的雙流通道圖像分解器φ對其中的低分辨率船舶圖像進行分解，得到低分辨率高頻分量船舶圖像q^H和低分辨率低頻分量船舶圖像q^L；將低分辨率高頻分量船舶圖像q^H送入到生成對抗網絡的高頻生成器中，得到低分辨率高頻分量船舶圖像q^H的訓練增強圖像，其中，生成對抗網絡的高頻生成器的權重參數集合為θ₁；將低分辨率低頻分量船舶圖像q^L送入到生成對抗網絡的低頻生成器中，得到低分辨率低頻分量船舶圖像q^L的訓練增強圖像，其中，生成對抗網絡的低頻生成器的權重參數集合為θ₂；

生成對抗網絡的高頻生成器和生成對抗網絡的低頻生成器均依次由9×9的卷積層、1×1的卷積層、多個殘差塊和平均池化層構成；

步驟3012、將高分辨率高頻分量船舶圖像p^H和低分辨率高頻分量船舶圖像q^H的訓練增強圖像送入到生成對抗網絡的高頻判別器中，獲取高分辨率高頻分量船舶圖像p^H的真偽值和低分辨率高頻分量船舶圖像q^H的訓練增強圖像的真偽值，其中，生成對抗網絡的高頻判別器的權重參數集合為θ₃；

將高分辨率低頻分量船舶圖像p^L和低分辨率低頻分量船舶圖像q^L的訓練增強圖像送入到生成對抗網絡的低頻判別器中，獲取高分辨率低頻分量船舶圖像p^L的真偽值和低分辨率低頻分量船舶圖像q^L的訓練增強圖像的真偽值，其中，生成對抗網絡的低頻判別器的權重參數集合為θ₄；

生成對抗網絡的高頻判別器和生成對抗網絡的低頻判別器均由多個卷積塊構成；

步驟302、計算雙參數損失目標函數：

根據公式計算高頻分量船舶圖像的雙參數損失目標函數為高分辨率高頻分量船舶圖像p^H的期望，為低分辨率高頻分量船舶圖像q^H的期望；

根據公式計算低頻分量船舶圖像的雙參數損失目標函數為高分辨率低頻分量船舶圖像p^L的期望，為低分辨率低頻分量船舶圖像q^L的期望；

步驟303、更新權重參數集合：將高頻分量船舶圖像的雙參數損失目標函數和低頻分量船舶圖像的雙參數損失目標函數分別送入優化器，對步驟四中的對抗網絡的高頻生成器的權重參數集合θ₁、生成對抗網絡的低頻生成器的權重參數集合θ₂、生成對抗網絡的高頻判別器的權重參數集合θ₃、生成對抗網絡的低頻判別器的權重參數集合為θ₄進行更新；

步驟304、調取新的船舶圖像訓練組，循環步驟301至步驟303，直至高分辨率高頻分量船舶圖像p^H的真偽值和高分辨率低頻分量船舶圖像p^L的真偽值滿足第一真偽值閾值范圍要求，低分辨率高頻分量船舶圖像q^H的訓練增強圖像的真偽值和低分辨率低頻分量船舶圖像q^L的訓練增強圖像的真偽值滿足第二真偽值閾值范圍要求，此時，確定對抗網絡的高頻生成器的權重參數集合θ₁的訓練結果和生成對抗網絡的低頻生成器的權重參數集合θ₂的訓練結果，進而確定對抗網絡的高頻生成器的訓練結果和生成對抗網絡的低頻生成器的訓練結果；

步驟四、訓練船舶分類器：利用船舶圖像訓練集訓練船舶分類器；

步驟五、低分辨率船舶圖像的高低頻分量分解、增強、拼接及分類，過程如下：

步驟501、低分辨率船舶圖像的高低頻分解及其增強：利用訓練好的雙流通道圖像分解器φ對低分辨率船舶圖像進行分解，得到實際低分辨率高頻分量船舶圖像和實際低分辨率低頻分量船舶圖像；將實際低分辨率高頻分量船舶圖像送入到訓練好的生成對抗網絡的高頻生成器中，得到實際低分辨率高頻分量船舶圖像的訓練增強圖像，將實際低分辨率低頻分量船舶圖像送入到訓練好的生成對抗網絡的低頻生成器中，得到實際低分辨率低頻分量船舶圖像的訓練增強圖像；

步驟502、實際低分辨率高頻分量船舶圖像的訓練增強圖像和實際低分辨率低頻分量船舶圖像的訓練增強圖像的圖像拼接；

步驟503、低分辨率船舶圖像分類：將拼接后的圖像送入訓練好的船舶分類器中對低分辨率船舶圖像進行分類。