[發明專利]一種人臉圖像復原方法、系統、裝置及存儲介質

在審

• 申請號: 202110173430.3
• 申請日: 2021-02-09
• 公開（公告）號: CN112801912A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 許勇;鄒浩陽;黃艷;全宇暉
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

1.一種人臉圖像復原方法，其特征在于，包括以下步驟：

獲取待復原的人臉圖像，采用經過訓練的人臉復原子網絡對所述人臉圖像進行復原，獲得復原的人臉圖像；

所述人臉復原子網絡在訓練過程中，引入人臉識別子網絡；

所述人臉識別子網絡對復原的人臉圖像進行特征提取，根據提取的特征對所述人臉復原子網絡進行識別監督，以優化所述人臉復原子網絡的網絡參數。

2.根據權利要求1所述的一種人臉圖像復原方法，其特征在于，在人臉復原子網絡在訓練過程中，還引入了長跳躍連接；

所述長跳躍連接用于將所述人臉復原子網絡和所述人臉識別子網絡提取的語義特征進行融合，以加強將所述人臉復原子網絡和所述人臉識別子網絡對特征的學習和傳播能力；

在對所述人臉復原子網絡訓練結束后，包括：

保留所述人臉復原子網絡，去除所述人臉識別子網絡。

3.根據權利要求1所述的一種人臉圖像復原方法，其特征在于，所述人臉識別子網絡對復原的人臉圖像進行特征提取，根據提取的特征對所述人臉復原子網絡進行識別監督，包括：

將復原后的人臉圖像輸入所述人臉識別子網絡進行特征提取；

根據提取的特征預測出所述人臉圖像的個體身份標簽，根據預測的個體身份標簽與真實標簽計算損失函數；

將所述損失函數產生的梯度反向傳播至所述人臉復原子網絡，指導所述人臉復原子網絡學習生成具有相同個體身份特征識別的能力。

4.根據權利要求1所述的一種人臉圖像復原方法，其特征在于，所述人臉復原子網絡包括復合殘差網絡，所述復合殘差網絡包括多個殘差模塊，每個殘差模塊提取不同深層的特征，所述人臉復原子網絡對人臉圖像進行復原的步驟，包括：

輸入人臉圖像I，對所述人臉圖像I進行卷積處理，得到輸出特征圖X0；

將所述得到輸出特征圖X0輸入第一個殘差模塊RBLK1中，得到輸出特征圖X1；

依次將上一個殘差模塊輸出的特征圖輸入下一個殘差模塊，得到對應的特征圖；

經過第n個殘差模塊后，得到輸出特征圖Xn，將特征圖X0與特征圖Xn進入融合，得到特征圖Xn+1；

對所述特征圖Xn+1進行上采樣，得到特征圖Xn+2；

對所述特征圖Xn+2進行卷積處理，得到復原的人臉圖像R。

5.根據權利要求4所述的一種人臉圖像復原方法，其特征在于，所述人臉識別子網絡對復原的人臉圖像R進行特征提取的步驟，包括：

A1、將復原的人臉圖像R和真實的高清人臉圖像G進行卷積處理后，獲得特征圖Y1；

A2、對特征圖Y1進行融合處理：對特征圖Y1進行經過平均池化操作和最大池化操作后，獲得特征圖Y2和特征圖Y3，將特征圖Y2和特征圖Y3進行融合獲得特征圖Y4；

A3、對特征圖Y4進行分裂處理：對特征圖Y4進行卷積處理，獲得特征圖Y5，將特征圖Y5根據通道數一分為二，得到特征圖Y6和特征圖Y7，將特征圖Y6和特征圖Y7通過MAX操作函數獲得特征圖Y8；

A4、對特征圖Y8進行分裂處理，獲得特征圖Y9；對特征圖Y9進行分裂處理，獲得特征圖Y10；對特征圖Y10進行分裂處理，獲得特征圖Y11；對特征圖Y11進行分裂處理，獲得特征圖Y12；

A5、對特征圖Y12進行融合處理，獲得特征圖Y13；

A6、將步驟A3-A5合并為一個MFM模塊，作為第一個MFM模塊，將特征圖Y13與特征圖X15進行融合獲得特征圖Y14；

A7、將特征圖Y14輸入第二個MFM模塊，獲得特征圖Y15；

A8、將特征圖Y15輸入第三個MFM模塊，獲得特征圖Y16，所述第三個MFM模塊不包括池化層；

A9、將特征圖Y16輸入第三個MFM模塊，獲得特征圖Y17；

A10、將特征圖Y17輸入第一個全連接層，獲得特征圖Y18；

A11、將特征圖Y18輸入第二個全連接層，獲得預測個體身份標簽Y19。