[發明專利]基于StyleGAN的高自由度人臉驅動方法和裝置

有效

• 申請號: 202110350947.5
• 申請日: 2021-03-31
• 公開（公告）號: CN113033442B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 劉燁斌;王立禎;于濤;戴瓊海
• 申請（專利權）人: 杭州新暢元科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種基于StyleGAN的高自由度人臉驅動方法，其特征在于，包括：

通過單攝像頭采集第一人臉的第一人臉視頻；

利用預訓練的人臉生成網絡StyleGAN2將所述第一人臉視頻映射到隱變量空間，獲取人臉向量；

對所述人臉向量進行主元分析，獲取主元成分矩陣和平均向量；

獲取第二人臉的第二人臉視頻，對所述第二人臉視頻進行關鍵點檢測生成目標關鍵點序列；

提取所述目標關鍵點序列中的主元參數，并根據所述主元參數、所述主元成分矩陣和平均向量更新所述第二人臉視頻的姿態參數和表情參數，使得所述第二人臉視頻中的第二人臉替換為所述第一人臉；

所述提取所述目標關鍵點序列中的主元參數，并根據所述主元參數、所述主元成分矩陣和平均向量更新所述第二人臉視頻的姿態參數和表情參數，包括：

計算所述主元成分矩陣和所述主元參數的乘積值，計算所述乘積值和所述平均向量之和，以獲取所述第二人臉視頻中人臉圖像新的隱變量；

將所述新的隱變量輸入所述人臉生成網絡StyleGAN2，得到所述第一人臉的人臉圖像；

在所述計算所述主元成分矩陣和所述主元參數的乘積值之前，還包括：

獲取所述第二人臉視頻中的每張第二人臉圖像的表情參數和姿態參數；

獲取所述第一人臉視頻中的每張第一人臉圖像的表情參數和姿態參數；

將所述第二人臉圖像和所述第一人臉圖像的表情參數和姿態參數匹配，根據匹配度確定與每張第二人臉圖像匹配度最高的第一人臉圖像；

獲取每張第二人臉圖像匹配度最高的第一人臉圖像的主元成分矩陣和平均向量。

2.如權利要求1所述的方法，其特征在于，所述利用預訓練的人臉生成網絡StyleGAN2將所述第一人臉視頻映射到隱變量空間，獲取人臉向量，包括：

利用在FFHQ人臉數據集上進行預訓練的人臉生成網絡StyleGAN2；

通過Image2StyleGAN算法將所說第一人臉視頻中的人臉圖像映射到StyleGAN2的隱變量空間，獲取人臉向量。

3.如權利要求1所述的方法，其特征在于，還包括：

利用梯度回傳對所述主元參數更新迭代。

4.一種基于StyleGAN的高自由度人臉驅動裝置，其特征在于，包括：

采集模塊，用于通過單攝像頭采集第一人臉的第一人臉視頻；

映射模塊，用于利用預訓練的人臉生成網絡StyleGAN2將所述第一人臉視頻映射到隱變量空間，獲取人臉向量；

主元分析模塊，用于對所述人臉向量進行主元分析，獲取主元成分矩陣和平均向量；

關鍵點檢測模塊，用于獲取第二人臉的第二人臉視頻，對所述第二人臉視頻進行關鍵點檢測生成目標關鍵點序列；

視頻處理模塊，用于提取所述目標關鍵點序列中的主元參數，并根據所述主元參數、所述主元成分矩陣和平均向量更新所述第二人臉視頻的姿態參數和表情參數，使得所述第二人臉視頻中的第二人臉替換為所述第一人臉；

所述視頻處理模塊，還用于：

計算所述主元成分矩陣和所述主元參數的乘積值，計算所述乘積值和所述平均向量之和，以獲取所述第二人臉視頻中人臉圖像新的隱變量；

將所述新的隱變量輸入所述人臉生成網絡StyleGAN2，得到所述第一人臉的人臉圖像；

在所述計算所述主元成分矩陣和所述主元參數的乘積值之前，還包括：

獲取所述第二人臉視頻中的每張第二人臉圖像的表情參數和姿態參數；

獲取所述第一人臉視頻中的每張第一人臉圖像的表情參數和姿態參數；

將所述第二人臉圖像和所述第一人臉圖像的表情參數和姿態參數匹配，根據匹配度確定與每張第二人臉圖像匹配度最高的第一人臉圖像；

獲取每張第二人臉圖像匹配度最高的第一人臉圖像的主元成分矩陣和平均向量。

5.如權利要求4所述的裝置，其特征在于，所述映射模塊，具體用于：

利用在FFHQ人臉數據集上進行預訓練的人臉生成網絡StyleGAN2；

通過Image2StyleGAN算法將所說第一人臉視頻中的人臉圖像映射到StyleGAN2的隱變量空間，獲取人臉向量。