[發(fā)明專利]人臉圖像盲修復方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110990835.6
• 申請日: 2021-08-26
• 公開（公告）號: CN113763268B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設計）人: 赫然;黃懷波;李佳
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T5/10;G06T19/20;G06V10/774;G06V10/82;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

本發(fā)明提供一種人臉圖像盲修復方法及系統(tǒng)，首先獲取待修復人臉圖像；然后將待修復人臉圖像輸入至三維記憶調制生成模型，由三維記憶調制生成模型對待修復人臉圖像進行盲修復，并得到三維記憶調制生成模型輸出的盲修復后的目標人臉圖像。三維記憶調制生成模型中包含的三維記憶調制模塊可以從拓撲優(yōu)化、小波記憶以及通用先驗這三個方面對待修復人臉圖像進行調制，并引入層規(guī)范化層面以及實例規(guī)范化層面的特征融合，最終得到修復后的目標人臉圖像。通過三維記憶調制生成模型，可以克服待修復失真人臉圖像中可能包含的退化模式帶來的不確定性，極大地提高了人臉圖像盲修復的效果，使得人臉圖像盲修復更加精準，得到的目標人臉圖像的圖像質量更高。

技術領域

本發(fā)明涉及人臉修復技術領域，尤其涉及一種人臉圖像盲修復方法及系統(tǒng)。

背景技術

目前，傳統(tǒng)的人臉圖像修復技術主要針對于同一個場景下、特定退化形式的人臉圖像。隨著人臉圖像修復技術的提高，不同場景下的高泛化、可控人臉圖像修復技術受到了廣泛的關注，特別是基于特征調制的人臉圖像盲修復技術進一步豐富了人臉圖像修復的應用。

人臉圖像盲修復即人臉圖像盲復原，是指當點擴展函數未知或不確知的情況下，從低質的待修復人臉圖像恢復出清晰、高質的目標人臉圖像的過程。人臉圖像盲修復技術在人臉超分技術的基礎上需要抵御更多的圖像退化模式，生成目標人臉圖像，其本質上是一種非匹配人臉圖像修復技術。

由于待修復人臉圖像同時包含五官模糊、運動模糊、低分辨率、噪聲、JPEG壓縮等多種隨機組合的退化模式，這種不確定性將極大地影響人臉圖像盲修復的效果。

發(fā)明內容

本發(fā)明提供一種人臉圖像盲修復方法及系統(tǒng)，用以解決現有技術中存在的缺陷。

本發(fā)明提供一種人臉圖像盲修復方法，包括：

獲取待修復人臉圖像；

將所述待修復人臉圖像輸入至三維記憶調制生成模型，由所述三維記憶調制生成模型對所述待修復人臉圖像進行盲修復，并得到所述三維記憶調制生成模型輸出的盲修復后的目標人臉圖像；

其中，所述三維記憶調制生成模型包括拓撲優(yōu)化模塊、小波記憶模塊、通用先驗模塊以及三維記憶調制模塊；所述拓撲優(yōu)化模塊用于提取所述待修復人臉圖像中優(yōu)化拓撲的多尺度空間特征；所述通用先驗模塊用于基于高斯噪聲分布確定所述待修復人臉圖像對應的多階通用先驗特征；所述三維記憶調制模塊用于將所述三維記憶調制模塊中上一級記憶調制單元的輸出特征作為當前記憶調制單元的輸入特征，確定所述輸入特征對應的原始注意力圖；將所述多尺度空間特征、所述多階通用先驗特征以及所述小波高頻編碼作為特征調制的控制量，基于所述輸入特征確定所述特征調制的控制量對應的層規(guī)范化層面的注意力圖以及實例規(guī)范化層面的注意力圖；并基于所述原始注意力圖、所述層規(guī)范化層面的注意力圖以及所述實例規(guī)范化層面的注意力圖，對所述待修復人臉圖像進行逐級調制，得到所述目標人臉圖像；

所述三維記憶調制生成模型基于第一類人臉圖像樣本以及所述第一類人臉圖像樣本對應的第二類人臉圖像樣本訓練得到，所述第一類人臉圖像樣本基于所述第二類人臉圖像樣本確定，且所述第一類人臉圖像樣本的圖像質量低于所述第二類人臉圖像樣本的圖像質量。

根據本發(fā)明提供的一種人臉圖像盲修復方法，所述三維記憶調制模塊具體用于：

對所述輸入特征進行卷積操作以及概率歸一化操作，確定所述輸入特征對應的原始注意力圖；

將所述輸入特征進行層規(guī)范化，得到層規(guī)范化特征，并對所述層規(guī)范化特征進行卷積操作以及概率歸一化操作，確定所述層規(guī)范化層面的注意力圖；

將所述輸入特征進行實例規(guī)范化，得到實例規(guī)范化特征，并對所述實例規(guī)范化特征進行卷積操作以及概率歸一化操作，確定所述實例規(guī)范化層面的注意力圖。

根據本發(fā)明提供的一種人臉圖像盲修復方法，所述三維記憶調制模塊還具體用于：