[發明專利]靈活多樣的人臉圖像老化生成系統

在審

• 申請號: 202310338136.2
• 申請日: 2023-03-31
• 公開（公告）號: CN116342379A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 李佩佩;何召鋒;王銳;曹春水
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06V20/70;G06V40/16;G06N3/0455;G06N3/08
• 代理公司: 石家莊領皓專利代理有限公司 13130
• 代理人: 郭紅偉

本發明涉及圖像處理技術領域，提出了靈活多樣的人臉圖像老化生成系統，包括獲得單元，用于獲得原始輸入圖像參考圖像和預先定義的老化文本tsupgt;ref/supgt;；CLIP編碼器，用于將所述參考圖像和所述老化文本tsupgt;ref/supgt;映射到CLIP隱空間，分別得到隱向量esupgt;img/supgt;和隱向量esupgt;txt/supgt;；概率年齡預測單元，用文本先驗N(esupgt;txt/supgt;，I)做KL散度約束，根據隱向量esupgt;img/supgt;得到老化條件的概率生成表示esupgt;age/supgt;＝N(μsubgt;φ/subgt;(esupgt;img/supgt;)，σsubgt;φ/subgt;supgt;2/supgt;(esupgt;img/supgt;)I)；擴散自編碼器，用于將原始輸入圖像編碼成語義條件第一擴散解碼器，用于將語義條件zsupgt;src/supgt;、預訓練擴散自編碼器中擴散第t步的加噪圖像和老化條件esupgt;age/supgt;解碼解成去噪老化編輯后的圖像p。通過上述技術方案，解決了現有技術中人臉老化靈活程度低的問題。

技術領域

本發明涉及圖像處理技術領域，具體的，涉及靈活多樣的人臉圖像老化生成系統。

背景技術

人臉老化旨在保持人臉身份信息的同時，模擬不同年齡段的面部外觀變化，在年齡估計、跨年齡人臉識別、影視創作以及醫美等方面有實際的落地應用前景。在過去的幾十年里，深度學習的快速發展推動了人臉老化的研究工作。目前人臉老化主要面臨三個問題：首先，之前基于GAN的方法往往很難魯棒地生成高質量的老化結果，在實際生成過程中很多結果存在明顯偽影；其次，之前的老化方法往往以固定的年齡標簽作為輸入，大大限制了人臉老化的靈活程度；最后，之前的老化方法忽略老化的多樣性，因為受到環境等復雜因素的影響，只生成一種老化模式是很不科學的。總結來說，上述三個問題都是老化中亟待解決的問題。

發明內容

本發明提出靈活多樣的人臉圖像老化生成系統，解決了相關技術中人臉老化靈活程度低的問題。

本發明的技術方案如下：包括：

獲得單元，用于獲得原始輸入圖像參考圖像和預先定義的老化文本t^ref；

CLIP編碼器，用于將所述參考圖像和所述老化文本t^ref映射到CLIP隱空間，分別得到隱向量e^img和隱向量e^txt；

概率年齡預測單元，用文本先驗N(e^txt，I)做KL散度約束，根據隱向量e^img得到老化條件的概率生成表示e^age＝N(μ_φ(e^img)，σ_φ²(e^img)I)；其中N(0，I)表示正態分布，μ_φ表示正態分布的均值，σ_φ表示正態分布的方差，φ為網絡參數；

擴散自編碼器，用于將原始輸入圖像編碼成語義條件

第一擴散解碼器，用于將語義條件z^src、預訓練擴散自編碼器中擴散第t步的加噪圖像和老化條件e^age解碼解成去噪老化編輯后的圖像p。

本發明的工作原理及有益效果為：

由于圖像和文字作為老化條件更符合人類的直覺和認知，本發明首先將參考圖像和預先定義的老化文本t^ref經過預訓練CLIP編碼器映射到CLIP隱空間，分別得到相應表示為e^img和e^txt，利用CLIP隱空間文本和圖像的高度一致對齊的特性；然后將老化條件視為從概率分布中的采樣結果，并用文本先驗做KL散度約束，對老化條件e^age做概率生成表示，實現圖像和文本靈活交互的老化條件生成。

附圖說明