[發明專利]表情遷移方法、裝置存儲介質及程序

有效

• 申請號: 201810151946.6
• 申請日: 2018-02-14
• 公開（公告）號: CN108399383B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 汪路超;劉浩
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種表情遷移方法，其特征在于，包括：

獲取視頻序列中用戶的人臉關鍵點；

基于所述人臉關鍵點的人臉形狀融合模型，獲取待處理視頻幀中的用戶的人臉表情參數初始值以及人臉位姿初始值；

根據所述人臉表情參數初始值、人臉位姿初始值以及人臉表情參數和人臉位姿的線性關系獲得所述用戶的3維人臉模型的人臉表情參數；其中，所述線性關系是基于所述用戶的3維人臉模型的相應頂點坐標的2維投影與所述待處理視頻幀中的用戶的人臉關鍵點的坐標的誤差最小的非線性方程形成的；

根據所述獲得的人臉表情參數，驅動虛擬角色的表情。

2.根據權利要求1所述的方法，其特征在于，所述人臉形狀融合模型包括：基于主成分分析PCA先驗模型，根據所述人臉關鍵點而實例化的模型。

3.根據權利要求2所述的方法，其特征在于，所述PCA先驗模型包括：利用雙線性模型的組織方式，而形成的雙線性PCA先驗模型。

4.根據權利要求2所述的方法，其特征在于，所述PCA先驗模型包括：利用人臉關鍵點，而構建的PCA先驗模型。

5.根據權利要求2至4中任一項所述的方法，其特征在于，所述人臉形狀融合模型的形成方式包括：

利用所述視頻序列中的視頻幀中的所述用戶的人臉關鍵點，對非線性方程進行求解，從求解結果中獲得人臉形狀參數；

根據所述人臉形狀參數對所述PCA先驗模型進行實例化，形成人臉形狀融合模型；

其中，所述非線性方程包括：所述3維人臉模型的相應頂點坐標的2維投影與所述待處理視頻幀中的所述用戶的人臉關鍵點的坐標的誤差最小的非線性方程。

6.根據權利要求5所述的方法，其特征在于，所述利用所述視頻序列中的視頻幀中的所述用戶的人臉關鍵點，對所述非線性方程進行求解，從求解結果中獲得所述人臉形狀參數包括：

利用所述視頻序列中的首個包含有所述用戶的視頻幀中的所述用戶的人臉關鍵點，對所述非線性方程進行求解，在判斷出求解結果中的人臉位姿符合正臉位姿要求，且所述誤差符合預定誤差要求的情況下，將所述求解結果中的人臉形狀參數作為視頻序列中用戶的人臉形狀參數，否則，利用下一個視頻幀中的所述用戶的人臉關鍵點，對所述非線性方程進行求解，直到判斷出求解結果中的人臉位姿符合正臉位姿要求，且所述誤差符合預定誤差要求。

7.根據權利要求5所述的方法，其特征在于，所述方法還包括：

將所述求解結果中的人臉表情參數作為，用于預測獲得所述人臉形狀參數的視頻幀的下一視頻幀中，所述用戶的人臉表情參數初始值的歷史人臉表情參數。

8.根據權利要求1所述的方法，其特征在于，所述獲取待處理視頻幀中所述用戶的人臉表情參數初始值以及人臉位姿初始值包括：

根據所述待處理視頻幀所對應的歷史人臉表情參數，預測所述待處理視頻幀中所述用戶的人臉表情參數；

根據所述預測出的人臉表情參數，基于所述非線性方程，獲得所述用戶的人臉位姿初始值；

其中，預測出的人臉表情參數被作為所述待處理視頻幀所對應的人臉表情參數初始值。

9.根據權利要求8所述的方法，其特征在于，所述根據所述待處理視頻幀所對應的歷史人臉表情參數，預測所述待處理視頻幀中所述用戶的人臉表情參數包括：

根據所述待處理視頻幀所對應的歷史人臉表情參數，利用卡爾曼濾波方式，預測所述待處理視頻幀中所述用戶的人臉表情參數。

10.根據權利要求8所述的方法，其特征在于，所述根據所述預測出的人臉表情參數，基于所述非線性方程，獲得所述用戶的人臉位姿初始值包括：

根據人臉形狀參數以及所述人臉表情參數初始值計算出所述3維人臉模型的各頂點坐標；

利用多個頂點坐標以及人臉表情參數初始值，對所述非線性方程進行求解，以獲得人臉位姿；

其中，所述獲得的人臉位姿被作為所述待處理視頻幀所對應的人臉位姿初始值。