[發明專利]動畫驅動方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010617136.2
• 申請日: 2020-06-30
• 公開（公告）號: CN111968203A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 趙洋
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種動畫驅動方法，包括：

獲取待處理的人臉圖像；

將所述人臉圖像輸入依次排列的特征提取子模型和頭部姿態子模型，以獲取所述人臉圖像的頭部姿態；

將所述人臉圖像輸入依次排列的特征提取子模型、部位特征提取子模型以及部位組合子模型，以獲取所述人臉圖像的表情系數；以及，

結合所述人臉圖像的所述頭部姿態、所述表情系數以及人臉動畫模型，生成與所述人臉圖像姿態表情一致的人臉動畫圖像。

2.根據權利要求1所述的方法，其中，所述獲取待處理的人臉圖像，包括：

獲取用戶圖像；

對所述用戶圖像進行人臉檢測，以獲取所述用戶圖像中人臉所在區域；以及，

按照所述人臉所在區域對所述用戶圖像進行裁剪，以得到所述待處理的人臉圖像。

3.根據權利要求1所述的方法，其中，所述將所述人臉圖像輸入依次排列的特征提取子模型和頭部姿態子模型之前，還包括：

獲取經過預訓練的特征提取子模型、初始頭部姿態子模型、初始部位特征提取子模型和初始組合子模型；

根據經過預訓練的特征提取子模型、所述初始頭部姿態子模型、所述初始部位特征提取子模型和所述初始組合子模型，構建第一組合模型；

獲取第一訓練數據，其中，所述第一訓練數據包括：人臉圖像樣本以及對應的頭部姿態以及表情系數；以及，

采用所述第一訓練數據對所述第一組合模型進行深度學習訓練，以得到所述特征提取子模型、所述頭部姿態子模型、所述部位特征提取子模型以及所述部位組合子模型。

4.根據權利要求3所述的方法，其中，所述根據經過預訓練的特征提取子模型、所述初始頭部姿態子模型、所述初始部位特征提取子模型和所述初始組合子模型，構建第一組合模型，包括：

將所述經過預訓練的特征提取子模型的輸出分別與所述初始頭部姿態子模型的輸入和所述初始部位特征提取子模型的輸入連接；以及，

將所述初始部位特征子模型的輸出與所述初始組合子模型的輸入連接，得到所述第一組合模型。

5.根據權利要求3所述的方法，其中，所述經過預訓練的特征提取子模型的獲取方式為，

獲取初始特征提取子模型和初始反卷積子模型；

根據所述初始特征提取子模型和所述初始反卷積子模型，構建第二組合模型；

獲取第二訓練數據，其中，所述第二訓練數據包括：人臉圖像樣本以及對應的人臉關鍵點信息；以及，

采用所述第二訓練數據對所述第二組合模型進行深度學習訓練，以得到所述經過預訓練的特征提取子模型。

6.根據權利要求1所述的方法，其中，所述待處理的人臉圖像為人臉圖像序列中的一幀人臉圖像；

所述結合所述人臉圖像的所述頭部姿態、所述表情系數以及人臉動畫模型，生成與所述人臉圖像表情一致的人臉動畫圖像之前，還包括：

獲取所述人臉圖像序列中位于所述待處理的人臉圖像之前的第一人臉圖像；以及，

將所述第一人臉圖像的表情系數以及所述待處理的人臉圖像的表情系數輸入平滑處理子模型，以對所述待處理的人臉圖像的表情系數進行平滑處理。

7.根據權利要求1所述的方法，其中，所述結合所述人臉圖像的所述頭部姿態、所述表情系數以及人臉動畫模型，生成與所述人臉圖像姿態表情一致的人臉動畫圖像，包括：

結合所述表情系數以及三維通用人臉模型下的表情模型，確定所述人臉圖像的表情參數；以及，

根據所述表情參數、所述頭部姿態以及人臉動畫模型，生成與所述人臉圖像姿態表情一致的人臉動畫圖像。