[發(fā)明專利]人臉表情動畫的生成方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110496995.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113191282A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計）人: 張賢華
• 申請（專利權(quán)）人: 深圳市灼華網(wǎng)絡(luò)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06T13/20;G06T15/20
• 代理公司: 深圳市特訊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44653
• 代理人: 黃彧

1.一種人臉表情動畫的生成方法，其特征在于，所述人臉表情動畫的生成方法包括：

利用攝像頭實時獲取人臉圖像；

通過深度神經(jīng)網(wǎng)絡(luò)對所述人臉圖像進行特征提取，獲得人臉表情數(shù)據(jù)和模型形變參數(shù)；

利用所述人臉表情數(shù)據(jù)和所述模型形變參數(shù)對人臉模型進行形變；

通過渲染器對形變后的所述人臉模型進行實時渲染，獲得人臉表情動畫。

2.根據(jù)權(quán)利要求1所述的人臉表情動畫的生成方法，其特征在于，所述深度神經(jīng)網(wǎng)絡(luò)依次包括輸入層、第一卷積層、第二卷積層、第一池化層、第三卷積層、第二池化層、第四卷積層、第三池化層、第一全連接層、第二全連接層和輸出層。

3.根據(jù)權(quán)利要求2所述的人臉表情動畫的生成方法，其特征在于，所述第一卷積層的卷積核大小為1*1，所述第二卷積層的卷積核大小為5*5，所述第一池化層的卷積核大小為2*2，所述第三卷積層的卷積核大小為3*3，所述第二池化層的卷積核大小為2*2，所述第四卷積層的卷積核大小為5*5，所述第三池化層的卷積核大小為2*2。

4.根據(jù)權(quán)利要求1所述的人臉表情動畫的生成方法，其特征在于，所述通過深度神經(jīng)網(wǎng)絡(luò)對所述人臉圖像進行特征提取之前包括：

獲取訓(xùn)練樣本；

對所述訓(xùn)練樣本進行數(shù)據(jù)增強；

將數(shù)據(jù)增強后的所述訓(xùn)練樣本輸入到所述深度神經(jīng)網(wǎng)絡(luò)中，對所述深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；

優(yōu)化所述深度神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)，直至所述損失函數(shù)達到預(yù)設(shè)值。

5.根據(jù)權(quán)利要求4所述的人臉表情動畫的生成方法，其特征在于，所述對所述訓(xùn)練樣本進行數(shù)據(jù)增強包括：

對所述訓(xùn)練樣本進行翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放和裁剪操作，以增加所述訓(xùn)練樣本的多樣性。

6.根據(jù)權(quán)利要求1所述的人臉表情動畫的生成方法，其特征在于，所述通過深度神經(jīng)網(wǎng)絡(luò)對所述人臉圖像進行特征提取，獲得人臉表情數(shù)據(jù)和人臉模型形變參數(shù)包括：

對光照不佳的人臉圖像進行圖像增強；

對所述人臉圖像進行人臉檢測和人臉特征點檢測，以確定人臉區(qū)域；

裁剪出所述人臉圖像中的人臉區(qū)域，對裁剪出的所述人臉區(qū)域進行人臉識別，獲得人臉表情數(shù)據(jù)和人臉模型形變參數(shù)。

7.根據(jù)權(quán)利要求6所述的人臉表情動畫的生成方法，其特征在于，利用所述人臉表情數(shù)據(jù)和所述人臉模型形變參數(shù)對人臉模型進行形變包括：

確定人臉模型中人臉特征點的位置；

將所述人臉表情數(shù)據(jù)按照所述人臉特征點的位置進行對齊；

在對齊后的所述人臉模型上添加人臉模型形變參數(shù)完成所述人臉模型的形變。

8.一種人臉表情動畫的生成裝置，其特征在于，所述人臉表情動畫的生成裝置包括：

攝像模塊，用于利用攝像頭實時獲取人臉圖像；

特征提取模塊，用于通過深度神經(jīng)網(wǎng)絡(luò)對所述人臉圖像進行特征提取，獲得人臉表情數(shù)據(jù)和模型形變參數(shù)；

形變模塊，用于利用所述人臉表情數(shù)據(jù)和所述模型形變參數(shù)對人臉模型進行形變；

渲染模塊，用于通過渲染器對形變后的所述人臉模型進行實時渲染，獲得人臉表情動畫。

9.一種人臉表情動畫的生成設(shè)備，其特征在于，所述人臉表情動畫的生成設(shè)備包括：存儲器和至少一個處理器，所述存儲器中存儲有指令，所述存儲器和所述至少一個處理器通過線路互連；

所述至少一個處理器調(diào)用所述存儲器中的所述指令，以使得所述人臉表情動畫的生成設(shè)備執(zhí)行如權(quán)利要求1-7中任一項所述的人臉表情動畫的生成方法。

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一項所述的人臉表情動畫的生成方法。