[發明專利]人臉圖像盲修復方法及系統

有效

• 申請號: 202110990835.6
• 申請日: 2021-08-26
• 公開（公告）號: CN113763268B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 赫然;黃懷波;李佳
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T5/10;G06T19/20;G06V10/774;G06V10/82;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

1.一種人臉圖像盲修復方法，其特征在于，包括：

獲取待修復人臉圖像；

將所述待修復人臉圖像輸入至三維記憶調制生成模型，由所述三維記憶調制生成模型對所述待修復人臉圖像進行盲修復，并得到所述三維記憶調制生成模型輸出的盲修復后的目標人臉圖像；

其中，所述三維記憶調制生成模型包括拓撲優化模塊、小波記憶模塊、通用先驗模塊以及三維記憶調制模塊；所述拓撲優化模塊用于提取所述待修復人臉圖像中優化拓撲的多尺度空間特征；所述通用先驗模塊用于基于高斯噪聲分布確定所述待修復人臉圖像對應的多階通用先驗特征；所述小波記憶模塊用于確定所述待修復人臉圖像對應的小波高頻編碼；所述三維記憶調制模塊用于將所述三維記憶調制模塊中上一級記憶調制單元的輸出特征作為當前記憶調制單元的輸入特征，確定所述輸入特征對應的原始注意力圖；將所述多尺度空間特征、所述多階通用先驗特征以及所述小波高頻編碼作為特征調制的控制量，基于所述輸入特征確定所述特征調制的控制量對應的層規范化層面的注意力圖以及實例規范化層面的注意力圖；并基于所述原始注意力圖、所述層規范化層面的注意力圖以及所述實例規范化層面的注意力圖，對所述待修復人臉圖像進行逐級調制，得到所述目標人臉圖像；

所述三維記憶調制生成模型基于第一類人臉圖像樣本以及所述第一類人臉圖像樣本對應的第二類人臉圖像樣本訓練得到，所述第一類人臉圖像樣本基于所述第二類人臉圖像樣本確定，且所述第一類人臉圖像樣本的圖像質量低于所述第二類人臉圖像樣本的圖像質量；

所述三維記憶調制生成模型基于如下方法訓練得到：

根據待訓練三維記憶調制生成模型中各節點的權重參數，對于任一第二類人臉圖像樣本以及對應的第一類人臉圖像樣本，計算所述待訓練三維記憶調制生成模型所得到的目標損失函數值；

根據所述目標損失函數值以及求導鏈式法則，計算所述待訓練三維記憶調制生成模型的目標損失函數對所述待訓練三維記憶調制生成模型中所有節點的權重參數的偏導數；

根據所述偏導數，對所述待訓練三維記憶調制生成模型中所有節點的權重參數進行更新；

更換所述任一第二類人臉圖像樣本，重復執行上述的計算過程以及更新過程，直到滿足迭代條件，得到所述三維記憶調制生成模型。

2.根據權利要求1所述的人臉圖像盲修復方法，其特征在于，所述三維記憶調制模塊具體用于：

對所述輸入特征進行卷積操作以及概率歸一化操作，確定所述輸入特征對應的原始注意力圖；

將所述輸入特征進行層規范化，得到層規范化特征，并對所述層規范化特征進行卷積操作以及概率歸一化操作，確定所述層規范化層面的注意力圖；

將所述輸入特征進行實例規范化，得到實例規范化特征，并對所述實例規范化特征進行卷積操作以及概率歸一化操作，確定所述實例規范化層面的注意力圖。

3.根據權利要求2所述的人臉圖像盲修復方法，其特征在于，所述三維記憶調制模塊還具體用于：

基于所述層規范化層面的注意力圖，采用所述特征調制的控制量，對所述層規范化特征進行加權調制，得到層調制特征；

基于所述實例規范化層面的注意力圖，采用所述特征調制的控制量，對所述實例規范化特征進行加權調制，得到實例調制特征；

基于所述原始注意力圖，對所述層調制特征以及所述實例調制特征進行加權融合，得到目標調制特征；

基于所述目標調制特征，得到所述目標人臉圖像。

4.根據權利要求1所述的人臉圖像盲修復方法，其特征在于，所述待修復人臉圖像從包含有背景區域的待修復圖像中提取得到；

相應地，所述得到所述三維記憶調制生成模型輸出的盲修復后的目標人臉圖像，之后還包括：

將所述目標人臉圖像與所述待修復圖像中的背景區域進行融合，對所述待修復圖像進行修復。