[發明專利]通過數據融合產生臉部表情的方法、裝置及頭戴式顯示器

在審

• 申請號: 201811525729.5
• 申請日: 2018-12-13
• 公開（公告）號: CN110929553A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 周永明;朱峰森;林鼎傑;王銓彰
• 申請（專利權）人: 未來市股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F3/01
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

1.一種通過數據融合產生臉部表情的方法，包括：

從復數個數據來源取得一用戶的一臉部數據，其中所述復數個數據來源包含一實時偵測數據及一預設數據；

映射所述臉部數據至復數個臉部表情參數，用來模擬所述用戶的一臉部幾何模型；

根據所述復數個臉部表情參數，進行一融合運算操作，用來產生對應并具有權重關系的所述復數個臉部表情參數的復數個融合參數；以及

根據所述復數個融合參數，產生一模擬用戶的臉部表情。

2.如權利要求1所述的通過數據融合產生臉部表情的方法，其特征在于，映射所述臉部數據至復數個臉部表情參數的步驟包括：

根據所述臉部數據，進行一臉部表情識別運算操作，以取得所述用戶的一情緒模型；以及

根據所述情緒模型，映射所述臉部數據至所述復數個臉部表情參數。

3.如權利要求2所述的通過數據融合產生臉部表情的方法，其特征在于，所述復數個臉部表情參數包含一幾何參數及一紋理參數，所述幾何參數用來指示所述臉部幾何模型上的頂點的三維坐標，所述紋理參數用來指示將對應所述情緒模型的一臉部影像粘貼至所述臉部幾何模型上的哪個位置。

4.如權利要求2所述的通過數據融合產生臉部表情的方法，其特征在于，根據所述臉部數據，進行所述臉部表情識別運算操作的步驟包括：

根據一樹狀分類方式，進行用來判斷所述用戶的所述情緒模型的所述臉部表情識別運算操作，其中所述樹狀分類方式是基于所述臉部數據中的距離數據；或者

根據一機器學習分類方式，進行用來判斷所述用戶的所述情緒模型的所述臉部表情識別運算操作，其中所述機器學習分類方式是基于一表情數據庫中的復數個臉部表情影像與所述臉部數據。

5.如權利要求4所述的通過數據融合產生臉部表情的方法，其特征在于，根據所述復數個臉部表情參數，進行所述融合運算操作的步驟包括：

根據映射的所述復數個臉部表情參數，判斷是否有一情緒沖突情況發生；以及

當有情緒沖突情況發生時，產生分配有權重值的所述復數個臉部表情參數的所述復數個融合參數。

6.如權利要求1所述的通過數據融合產生臉部表情的方法，其特征在于，所述復數個數據來源包含臉部肌肉運動、說話語音、所述用戶的部分或整個臉部的影像，以及預設或隨機產生的臉部特征。

7.如權利要求1所述的通過數據融合產生臉部表情的方法，其特征在于，所述復數個臉部表情參數用來指示一臉部特征的信息，所述臉部特征的信息包含所述用戶的眉毛、皺紋、眼睛、嘴巴、牙齒、舌頭、鼻子、眨眼頻率、眼睛運動方向、瞳孔大小和頭部動作的六維信息的至少其中之一。

8.一種頭戴式顯示器，用于通過數據融合產生一模擬用戶的臉部表情，所述頭戴式顯示器包括：

一處理單元，用來執行一程序碼；

一存儲單元，連接于所述處理單元，用來存儲所述程序碼；

復數個追蹤單元，連接于所述處理單元，用來從復數個數據來源收集一用戶的臉部數據，其中所述復數個數據來源包含一實時偵測數據及一預設數據；

所述程序碼指示所述處理單元以在所述處理單元或一云端執行以下所有步驟，或者，在所述處理單元執行一部分以下步驟而在所述云端執行另一部分以下步驟：

從所述復數個追蹤單元取得所述臉部數據；

映射所述臉部數據至復數個臉部表情參數，用來模擬所述用戶的一臉部幾何模型；

根據所述復數個臉部表情參數，進行一融合運算操作，用來產生對應并具有權重關系的所述復數個臉部表情參數的復數個融合參數；以及

根據所述復數個融合參數，產生模擬所述用戶的臉部表情。