[發明專利]基于空間特征變換和跨尺度特征集成的人臉超分辨方法

在審

• 申請號: 202011124368.0
• 申請日: 2020-10-20
• 公開（公告）號: CN112270644A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 張凱兵;莊誠;李敏奇;景軍鋒;盧健;劉薇;陳小改
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/40;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 弓長

1.基于空間特征變換和跨尺度特征集成的人臉超分辨方法，其特征在于，具體按照如下步驟實施：

步驟1，從人臉數據集中隨機選取N張人臉圖像，然后對人臉圖像進行預處理，生成訓練集和測試集；

步驟2，采用人臉解析預訓練模型BisNet作為語義分割概率圖生成的基網絡，將步驟1預處理后的人臉圖像進行處理生成語義分割概率圖；

步驟3，構建用于訓練的生成對抗網絡模型，所述生成對抗網絡模型包括依次連接的語義分割概率圖中間條件生成模塊、空間特征變換模塊、跨尺度特征集成模塊和融合輸出模塊，所述跨尺度特征集成模塊內引入圖像上采樣的亞像素卷積層，所述生成對抗網絡模型引入對抗損失函數和感知損失函數；

步驟4，將步驟1得到的訓練集內的人臉圖像依次輸入構建的生成對抗網絡模型中，設置參數，訓練并達到收斂；

步驟5，將步驟1中的測試集中的人臉圖像輸入經步驟4訓練好的生成對抗網絡模型中，得到超分辨重建后的高分辨圖像。

2.根據權利要求1所述的基于空間特征變換和跨尺度特征集成的人臉超分辨方法，其特征在于，所述步驟1中的人臉數據集為CelebA-HQ人臉數據集。

3.根據權利要求1所述的基于空間特征變換和跨尺度特征集成的人臉超分辨方法，其特征在于，所述步驟1中對訓練集中的人臉圖像進行預處理具體為：采用雙立方插值算法對訓練集中的圖像進行下采樣，輸出尺寸為512×512的插值圖像I^HR，作為訓練集和測試集的目標圖像，然后將插值圖像I^HR采用雙立方插值下采樣4倍至64×64作為訓練和測試輸入圖像I^LR；然后將輸入圖像I^LR采用雙立方插值上采樣4倍至256×256作為語義分割網絡輸入圖像I^S。

4.根據權利要求3所述的基于空間特征變換和跨尺度特征集成的人臉超分辨方法，其特征在于，所述步驟2具體為：

采用人臉解析預訓練模型BisNet作為語義分割概率圖生成的基網絡，修改人臉解析預訓練模型BisNet的輸出層，具體為：在人臉解析預訓練模型BisNet的輸出層加入softmax函數，將步驟1得到的語義分割網絡輸入圖像I^S作為輸入輸入到修改后的人臉解析預訓練模型BisNet中，輸出為語義概率，將語義概率輸出結果保存為.pth文件，即Pytorch模型文件，得到語義分割概率圖I^Seg。

5.根據權利要求4所述的基于空間特征變換和跨尺度特征集成的人臉超分辨方法，其特征在于，所述步驟4具體為：

步驟4.1，設置訓練參數，將訓練和測試輸入圖像I^LR、訓練集和測試集的目標圖像I^HR和語義分割概率圖I^Seg加載網絡輸入端，即就是語義分割概率圖中間條件生成模塊的輸入端，所述語義分割概率圖中間條件生成模塊將輸入的語義分割概率圖I^Seg進行處理，生成語義信息中間條件Ψ；

步驟4.2，語義分割概率圖中間條件生成模塊將訓練和測試輸入圖像I^LR經過一層卷積生成特征圖，作為前層特征圖；

步驟4.3，前層特征圖和語義信息中間條件Ψ作為空間特征變換模塊的輸入，空間特征變換模塊輸出特征圖F1；

步驟4.4，將步驟4.3中輸出特征圖F1輸入到跨尺度集成模塊中，得到不同尺度特征，然后將不同尺度特征輸入至融合輸出模塊，得到超分辨圖像，記為I^SR；

步驟4.5，將超分辨圖像I^SR和對應的插值圖像I^HR輸入判別器D_η，將判別信息反向傳輸至生成對抗網絡模型，即就是生成器G_θ；

步驟4.6，不斷迭代步驟4.4-4.5，使得對抗損失和感知損失的總和達到最小，然后將對應的參數作為訓練好的模型參數，得到訓練好的生成對抗網絡模型。