[發明專利]一種基于屬性描述生成對抗網絡的人臉圖像超分辨率重建方法

有效

• 申請號: 201811453611.6
• 申請日: 2018-11-30
• 公開（公告）號: CN109615582B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 李曉光;董寧;李嘉鋒;張輝;卓力
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/82;G06N3/0464;G06N3/08;G06T11/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于屬性描述生成對抗網絡的人臉圖像超分辨率重建方法，包括訓練階段和重建階段，其特征在于：

訓練階段：包括訓練樣本準備、網絡結構設計和網絡訓練三部分；網絡結構設計采用生成對抗網絡框架，由生成網絡和判別網絡兩部分構成；生成網絡包括人臉屬性編解碼模塊和超分辨率重建模塊；判別網絡包括屬性分類模塊、對抗模塊和感知模塊；網絡訓練過程采用生成對抗網絡框架的生成網絡和判別網絡交替對抗訓練的方式進行；

重建階段：LR人臉圖像和屬性描述信息作為輸入，經過訓練好的生成網絡，實現圖像編碼、屬性添加、圖像解碼以及圖像重建；

其中屬性編解碼模塊包括一個編碼模塊和一個解碼模塊，其中編碼模塊分別有四個卷積層，每個卷積層后面都緊接著一個批量歸一化層和一個激活層，解碼模塊分別有五個反卷積層，前四層反卷積層后面都分別連著一個批量歸一化層和ReLu作為激活層，最后一層反卷積層只用了Tanh來作為激活層；

其中超分辨率重建模塊由兩個以上相同的殘差子模塊組合而成，每個子模塊包括兩個殘差網絡和一個亞像素模塊；其中，殘差網絡由卷積層、批量歸一化層和ReLu激活層堆疊而成，并采用跳躍連接將殘差網絡的輸入特征圖與輸出特征圖進行融合，聯合學習圖像和屬性的特征；亞像素模塊則由卷積層、亞像素卷積層堆疊而成，亞像素模塊對具有該屬性的人臉圖像進一步放大，重建出高分辨率的人臉圖像；

屬性分類模塊包括特征學習和分類部分；在特征學習的網絡結構設計中，使用五層卷積層、層歸一化Layer?Normalization和Leaky?ReLu激活層堆疊而成，之后再接一層全連接層、Layer?Normalization層和Leaky?ReLU激活層，在分類部分，再接一個全連接層和Softmax層，針對影響人臉識別的重要屬性進行分類；

對抗模塊也包括特征學習和分類部分；在特征學習部分，對抗模塊與屬性分類模塊的網絡參數共享；特征學習部分由卷積層、Layer?Normalization層和Leaky?ReLu激活層堆疊而成；全連接層前的網絡結構作為特征學習部分；分類部分含有一個全局平均池化層和線性層；對抗模塊的輸入含1/0標簽的真假圖像，輸出為真假圖像匹配的概率值；

感知模塊分為五個階段，每個階段由卷積層、激活層、池化層堆疊而成；感知模塊的輸入為成對的HR與Ground?Truth圖像，它們在五個階段分別進行特征圖對比，五個階段的損失函數組合而成該模塊的感知損失函數，用來判斷生成圖像與真實圖像的一致性；

對抗訓練過程具體為：

在前向傳播的過程中，先將LR人臉圖像X輸入到生成網絡的屬性編解碼模塊，通過一系列下采樣編碼成一組潛在的特征向量z，然后圖像濾波器沿著通道的維度與屬性向量e連接；連接而成的向量進一步被送到反卷積層聯合學習圖像和屬性共同的特征，并且在學習特征的過程中，依次通過一系列上采樣再解碼生成具有該屬性的人臉圖像Z^e；將含有屬性描述信息的人臉圖像繼續輸入生成網絡的超分辨率重建模塊中，通過卷積層多個卷積濾波器得到LR圖像的潛在的特征；然后經過殘差網絡逐層特征變換得到LR圖像的高頻信息，將LR圖像與其高頻信息跳躍連接；再對其進行亞像素卷積放大，恢復出具有相應屬性的高分辨率HR人臉圖像；

重建出的含有生成屬性的HR人臉圖像和真實的具有目標屬性的人臉圖像組成樣本對，并分別賦予0和1的標簽信息，將樣本對輸入到判別網絡中；在網絡訓練中，生成網絡與判別網絡交替訓練，判別網絡不發生參數更新，僅將判別網絡的誤差回傳給生成網絡；

經過反復迭代，當達到預設的最大迭代次數時停止訓練，獲得圖像復原的生成網絡；

LR人臉圖像和屬性描述信息作為輸入，經過訓練好的圖像復原的生成網絡，實現圖像編碼、屬性添加、圖像解碼以及圖像放大重建，生成具有相應屬性信息的高分辨率重建人臉圖像。

2.根據權利要求1所述的方法，其特征在于，訓練樣本準備具體為：

對高質量人臉訓練圖像，先進行圖像預處理，采用人臉檢測、對齊、裁剪以及下采樣得到LR人臉圖像；先把與人臉識別相關的屬性提取出來處理成N維的向量作為初始屬性，用來訓練的數據集已經標記好了人臉的屬性，該屬性標簽分為1和0兩種狀態，1表示具有該屬性，0表示不具有該屬性，再把圖像和對應的初始屬性進行匹配，最終將圖像和初始屬性一一對應起來，把目標屬性都設為1。