[發(fā)明專利]一種基于MobileNets模型的表情追蹤方法

有效

• 申請?zhí)枺?/td>: 201810486472.0
• 申請日: 2018-05-21
• 公開（公告）號: CN108717732B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設計）人: 饒云波;宋佳麗;吉普照;范柏江;茍苗;楊攀
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/04
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 孫一峰

本發(fā)明屬于表情追蹤技術，具體的說是一種基于MobileNets模型的表情追蹤方法。本發(fā)明主要包括：通過預處理生成訓練數據集，所述預處理為使得數據集中每一張圖片的人臉均具有三維特征坐標；采用一個標準卷積層、12個分離卷積層、1個均值池化層以及全連接層和Softmax構建神經網絡MobileNets模型；所述12個分離卷積層為6個深度卷積與6個點卷積；采用獲得的訓練數據集對構建的神經網絡MobileNets模型進行訓練；采用訓練好的神經網絡MobileNets模型獲取輸入圖像的人臉三維特征點坐標；對模型提取的人臉三維特征點坐標做網格重建生成形變系數，用于對人臉3D模型進行控制，實現表情追蹤。本發(fā)明的有益效果為，兼顧了模型大小與運行速度，因而可適應于移動設備，具有較強的實用性。

技術領域

本發(fā)明屬于表情追蹤技術，具體的說是一種基于MobileNets模型的表情追蹤方法。

背景技術

隨著硬件設備的提升，面部表情追蹤技術逐步運用于電影制作、VR社交、游戲制作等各領域。如《星際大戰(zhàn)》和《阿凡達》等電影在人物的表情及動作制作上充分運用了追蹤技術，在面部表情及動作的伸展性上表現極佳，達到如同真人般效果。此外，據美國某著名心理學家的研究結果表示，人類在社交中傳遞的感情，文字占比7％，聲調占比38％，表情占比55％。針對目前互聯(lián)網普及化的現象，為在尊重用戶隱私的前提下提高交流的有效性以及休閑娛樂的趣味性，面部表情追蹤技術的研究工作具備非常實際的研究意義。

人臉特征點的定位是面部表情追蹤過程中的關鍵環(huán)節(jié)，特征點的提取是否精準直接影響到后續(xù)表情映射部分的真實性。它的主要實現過程為：由設備或源路徑輸入人臉后，對該人臉的五官及面部輪廓的位置進行定位并提取該定位點的坐標值，坐標值將用于表情映射過程中建模三角網格。提取出的特征點通過與該人臉的實際特征點坐標值進行差值計算評估算法精確度，不同的特征定位算法主要從定位準確度(accuracy)、速度(speed)以及魯棒性(robustness)三個方面進行評估。

傳統(tǒng)的級聯(lián)回歸方法首先構建一張初始人臉，然后通過多個弱回歸器訓練逐漸逼近真實的人臉形狀。然而，一旦初始人臉形狀與實際的人臉形狀偏差過大時，后續(xù)的回歸優(yōu)化也會出現較大偏差。目前部分研究者開始致力于提高初始人臉的質量，效果有所提升，但也無法完全避免因初始人臉帶來的誤差。此外，當前眾多研究者通過訓練神經網絡模型實現特征提取，這種方法主要取決于訓練數據的預處理及網絡模型的構建與優(yōu)化，目前有大量的網絡結構在速度與精度上都取得一定的成果，但仍有待提高。

發(fā)明內容

本發(fā)明的目的，就是針對上述問題，通過搭建并訓練深度學習模型MobileNets實現人臉的特征點提取，以特征點生成形變系數的方式實現人臉表情到動畫模型表情的追蹤遷移。隨著網絡的普及化以及各類智能應用的出現，簡單的文本信息及語音信息已很難滿足用戶在日常社交及游戲娛樂上的趣味性要求，考慮到用戶人身安全、用戶隱私泄露等安全隱患，表情追蹤技術的出現有效的解決了這一問題，主要通過追蹤用戶表情并遷移到虛擬模型面部的方式實現,然而目前大部分的表情追蹤技術對設備有較高的要求，如深度數據采集器Kinect、HTC vive等，這些設備目前尚未普及到大部分的用戶，針對這一問題，本發(fā)明中實現了通過普通攝像頭即可達到精確且高效的表情追蹤效果，可應用于游戲娛樂、社交辦公等領域。

本發(fā)明的技術方案為：

一種基于MobileNets模型的表情追蹤方法，其特征在于，包括以下步驟：

S1、通過預處理生成訓練數據集，所述預處理為使得數據集中每一張圖片的人臉均具有三維特征坐標；

S2、采用一個標準卷積層、12個分離卷積層、1個均值池化層以及全連接層和Softmax構建神經網絡MobileNets模型；所述12個分離卷積層為6個深度卷積與6個點卷積；

采用步驟S1獲得的訓練數據集對構建的神經網絡MobileNets模型進行訓練；