[發明專利]基于StyleGAN的高自由度人臉驅動方法和裝置

有效

• 申請號: 202110350947.5
• 申請日: 2021-03-31
• 公開（公告）號: CN113033442B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 劉燁斌;王立禎;于濤;戴瓊海
• 申請（專利權）人: 杭州新暢元科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

本發明提出一種基于StyleGAN的高自由度人臉驅動方法和裝置，其中，方法包括：通過單攝像頭采集第一人臉的第一人臉視頻；利用預訓練的人臉生成網絡StyleGAN2將第一人臉視頻映射到隱變量空間，獲取人臉向量；對人臉向量進行主元分析，獲取主元成分矩陣和平均向量；獲取第二人臉的第二人臉視頻，對第二人臉視頻進行關鍵點檢測生成目標關鍵點序列；提取目標關鍵點序列中的主元參數，并根據主元參數、主元成分矩陣和平均向量更新第二人臉視頻的姿態參數和表情參數，使得第二人臉視頻中的第二人臉替換為第一人臉。由此，可以利用單攝像頭拍攝的人臉視頻，實現該人臉的高自由度表情和姿態驅動。

技術領域

本發明涉及計算機視覺中的人臉驅動技術領域，尤其涉及一種基于StyleGAN的高自由度人臉驅動方法和裝置。

背景技術

隨著計算機視覺領域中的人臉識別和生成等相關人臉技術的不斷發展，利用人臉驅動的相關技術也不斷產生。人臉驅動技術可為現代社會中的新聞播報、娛樂直播、遠程通訊等提供更為新穎的表現方式。以新聞播報為例，人臉驅動技術結合其他相關技術可以生成24小時準確無間斷的人工智能播音員，在降低人力成本的同時也會為人們的生活提供極大的便利。

在算法方面，人臉驅動算法可大體分為三維重建和二維驅動算法兩類。三維重建算法往往需要高精度的采集設備和復雜的采集條件，且由于人臉的面部高光、復雜拓撲等特殊問題導致目前的動態人臉重建算法的重建質量有限。此外，渲染算法往往難以產生高真實感的人臉圖片。當下流行的最先進的二維人臉驅動算法避免了渲染帶來的真實感確實問題，但往往難以解決高自由度的人臉運動和表情變化。對采集環境和處理設備的高要求限制了三維算法的實際應用的場景，同時目前的維算法難以滿足高自由度姿態和表情變化的需求。高真實感和高自由度的人臉驅動還沒有切實可行的解決方案。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種基于StyleGAN的高自由度人臉驅動方法，以實現可以利用單攝像頭拍攝的人臉視頻，實現該人臉的高自由度表情和姿態驅動。

本發明的第二個目的在于提出一種基于StyleGAN的高自由度人臉驅動裝置。

本發明的第三個目的在于提出一種計算機設備。

本發明的第四個目的在于提出一種非臨時性計算機可讀存儲介質。

本發明的第五個目的在于提出一種計算機程序產品。

為達上述目的，本發明第一方面實施例提出了一種基于StyleGAN的高自由度人臉驅動方法，包括：通過單攝像頭采集第一人臉的第一人臉視頻；

利用預訓練的人臉生成網絡StyleGAN2將所述第一人臉視頻映射到隱變量空間，獲取人臉向量；

對所述人臉向量進行主元分析，獲取主元成分矩陣和平均向量；

獲取第二人臉的第二人臉視頻，對所述第二人臉視頻進行關鍵點檢測生成目標關鍵點序列；

提取所述目標關鍵點序列中的主元參數，并根據所述主元參數、所述主元成分矩陣和平均向量更新所述第二人臉視頻的姿態參數和表情參數，使得所述第二人臉視頻中的第二人臉替換為所述第一人臉。

為達上述目的，本發明第二方面實施例提出了一種基于StyleGAN的高自由度人臉驅動裝置，包括：采集模塊，用于通過單攝像頭采集第一人臉的第一人臉視頻；

映射模塊，用于利用預訓練的人臉生成網絡StyleGAN2將所述第一人臉視頻映射到隱變量空間，獲取人臉向量；

主元分析模塊，用于對所述人臉向量進行主元分析，獲取主元成分矩陣和平均向量；

關鍵點檢測模塊，用于獲取第二人臉的第二人臉視頻，對所述第二人臉視頻進行關鍵點檢測生成目標關鍵點序列；