[發(fā)明專利]虛擬角色的面部生成方法、自動捏臉方法及裝置

有效

• 申請?zhí)枺?/td>: 202010184367.9
• 申請日: 2020-03-16
• 公開（公告）號: CN111389008B
• 公開（公告）日: 2023-03-31
• 發(fā)明（設計）人: 石天陽;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: A63F13/60
• 分類號: A63F13/60;A63F13/825;G06T15/00;G06T19/00;G06T19/20
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 高燕

1.一種虛擬角色的面部生成方法，其特征在于，所述方法包括：

響應針對于虛擬角色的面部隨機生成指令，生成符合預定分布規(guī)律的隨機變量組；其中，所述隨機變量組中的隨機變量與所述虛擬角色的面部特征維度相對應；

將所述隨機變量組輸入至預設的人臉先驗模型，得到所述人臉先驗模型輸出的所述虛擬角色的捏臉參數組；其中，所述人臉先驗模型包括人臉先驗矩陣，所述人臉先驗矩陣為基于實際人臉圖像集中的面部特征分布規(guī)律生成的用于表征隨機變量組與捏臉參數組的對應關系的矩陣；

基于所述捏臉參數組對所述虛擬角色的面部進行渲染。

2.根據權利要求1所述的方法，其特征在于，所述符合預定分布規(guī)律的隨機變量組為符合標準高斯分布的隨機變量組。

3.根據權利要求1所述的方法，其特征在于，所述隨機變量組與捏臉參數組的對應關系表示為：

x＝(P^TP)^-1P^Tz+m；

其中，x為捏臉參數組，P為人臉先驗矩陣；z為隨機變量組；m為預設的均值。

4.根據權利要求3所述的方法，其特征在于，所述人臉先驗矩陣的生成方法包括：

獲取人臉圖像集，其中，所述人臉圖像集中包括多個人臉圖像；

遍歷所述人臉圖像集，對每個所述人臉圖像提取樣本捏臉參數組，并基于所述樣本捏臉參數組生成捏臉參數矩陣；

對所述捏臉參數矩陣進行統計分析，得到所述捏臉參數矩陣的協方差矩陣，以及，所述協方差矩陣的特征值和特征向量矩陣；

基于所述協方差矩陣的特征值和特征向量矩陣構造所述人臉先驗矩陣；

其中，所述人臉先驗矩陣表示為：

其中，∑為所述捏臉參數矩陣的協方差矩陣的特征值；V為所述協方差矩陣的特征向量矩陣；P為人臉先驗矩陣，T表示所述特征向量矩陣V的轉置。

5.根據權利要求4所述的方法，其特征在于，對所述捏臉參數矩陣進行統計分析的步驟包括：

對所述捏臉參數矩陣進行去均值操作，得到去均值的捏臉參數矩陣；

對所述去均值的捏臉參數矩陣進行統計分析。

6.根據權利要求4所述的方法，其特征在于，對每個所述人臉圖像提取樣本捏臉參數的組步驟包括：

將每個所述人臉圖像輸入至預先設置的參數提取器，通過所述參數提取器逐個提取每個所述人臉圖像的樣本捏臉參數組。

7.根據權利要求4所述的方法，其特征在于，基于所述樣本捏臉參數組生成捏臉參數矩陣的步驟包括：

將所述樣本捏臉參數組按照預設的人臉部位進行分組，生成多個預設的人臉部位對應的子樣本捏臉參數組；其中，預設的所述人臉部位包括面部特征對應的人臉部位；

根據所述子樣本捏臉參數組生成所述人臉部位對應的捏臉參數矩陣。

8.一種自動捏臉方法，其特征在于，所述方法包括：

響應針對于虛擬場景中的目標虛擬角色的捏臉指令，獲取真實場景中的第一面部圖像和所述虛擬場景中的第二面部圖像；其中，所述第二面部圖像為預先為所述虛擬場景配置的可選面部圖像；

基于所述第一面部圖像和所述第二面部圖像構造優(yōu)化目標函數，通過所述優(yōu)化目標函數輸出隨機輸入參數組；

將所述隨機輸入參數組輸入至人臉先驗網絡層，通過所述人臉先驗網絡層中嵌入的人臉先驗模型輸出所述目標虛擬角色的捏臉參數組；其中，所述人臉先驗模型包括人臉先驗矩陣，所述人臉先驗矩陣為基于實際人臉圖像集中的面部特征分布規(guī)律生成的用于表征隨機變量組與捏臉參數組的對應關系的矩陣；

基于所述捏臉參數組對所述目標虛擬角色的面部進行渲染，以使所述目標虛擬角色的面部圖像與所述第一面部圖像匹配。