[發明專利]人臉表情動畫的生成方法、裝置、設備及存儲介質

在審

• 申請號: 202110496995.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113191282A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張賢華
• 申請（專利權）人: 深圳市灼華網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06T13/20;G06T15/20
• 代理公司: 深圳市特訊知識產權代理事務所(普通合伙) 44653
• 代理人: 黃彧

本發明提供了一種人臉表情動畫的生成方法、裝置、設備及存儲介質，所述人臉表情動畫的生成方法包括：利用攝像頭實時獲取人臉圖像；通過深度神經網絡對所述人臉圖像進行特征提取，獲得人臉表情數據和模型形變參數；利用所述人臉表情數據和所述模型形變參數對人臉模型進行形變；通過渲染器對形變后的所述人臉模型進行實時渲染，獲得人臉表情動畫。本發明的人臉表情動畫由于使用的深度神經網絡進行人臉特征的提取，提高了人臉特征的提取效率，從而節省了人臉表情動畫的制作時間。

技術領域

本發明涉及表情制作技術領域，尤其涉及一種人臉表情動畫的生成方法、裝置、設備及存儲介質。

背景技術

目前可以找到一些3D人臉建模技術，例如激光掃描、立體視角照相機等都是基于計算機視覺的方法，這些方法成本高，很難普及，且需要高強度的計算。常用的三維人臉建模和動畫的標準人臉模型可以由Poser、Maya、3DMax等軟件制作并導出，但常常需要手動調整，操作比較繁瑣，耗時長，效率低。

因此，現有技術還有待于改進和發展。

發明內容

本發明的主要目的在于解決現有技術人臉表情動畫的制作方法操作繁瑣，耗時長的技術問題。

本發明第一方面提供了一種人臉表情動畫的生成方法，所述人臉表情動畫的生成方法包括：

利用攝像頭實時獲取人臉圖像；

通過深度神經網絡對所述人臉圖像進行特征提取，獲得人臉表情數據和模型形變參數；

利用所述人臉表情數據和所述模型形變參數對人臉模型進行形變；

通過渲染器對形變后的所述人臉模型進行實時渲染，獲得人臉表情動畫。

在本發明第一方面一種可選的實施方式中，所述深度神經網絡依次包括輸入層、第一卷積層、第二卷積層、第一池化層、第三卷積層、第二池化層、第四卷積層、第三池化層、第一全連接層、第二全連接層和輸出層。

在本發明第一方面一種可選的實施方式中，所述第一卷積層的卷積核大小為1*1，所述第二卷積層的卷積核大小為5*5，所述第一池化層的卷積核大小為2*2，所述第三卷積層的卷積核大小為3*3，所述第二池化層的卷積核大小為2*2，所述第四卷積層的卷積核大小為5*5，所述第三池化層的卷積核大小為2*2。

在本發明第一方面一種可選的實施方式中，所述通過深度神經網絡對所述人臉圖像進行特征提取之前包括：

獲取訓練樣本；

對所述訓練樣本進行數據增強；

將數據增強后的所述訓練樣本輸入到所述深度神經網絡中，對所述深度神經網絡進行訓練；

優化所述深度神經網絡中的損失函數，直至所述損失函數達到預設值。

在本發明第一方面一種可選的實施方式中，所述對所述訓練樣本進行數據增強包括：

對所述訓練樣本進行翻轉、旋轉、平移、縮放和裁剪操作，以增加所述訓練樣本的多樣性。

在本發明第一方面一種可選的實施方式中，所述通過深度神經網絡對所述人臉圖像進行特征提取，獲得人臉表情數據和人臉模型形變參數包括：

對光照不佳的人臉圖像進行圖像增強；

對所述人臉圖像進行人臉檢測和人臉特征點檢測，以確定人臉區域；

裁剪出所述人臉圖像中的人臉區域，對裁剪出的所述人臉區域進行人臉識別，獲得人臉表情數據和人臉模型形變參數。

在本發明第一方面一種可選的實施方式中，利用所述人臉表情數據和所述人臉模型形變參數對人臉模型進行形變包括：