[發明專利]通過數據融合產生臉部表情的方法、裝置及頭戴式顯示器

在審

• 申請號: 201811525729.5
• 申請日: 2018-12-13
• 公開（公告）號: CN110929553A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 周永明;朱峰森;林鼎傑;王銓彰
• 申請（專利權）人: 未來市股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F3/01
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明公開了一種通過數據融合產生臉部表情的方法、系統及頭戴式顯示器，所述方法包括：從復數個數據來源取得一用戶的一臉部數據，其中所述復數個數據來源包含一實時偵測數據及一預設數據；映射所述臉部數據至復數個臉部表情參數，用來模擬所述用戶的一臉部幾何模型；根據所述復數個臉部表情參數，進行一融合運算操作，用來產生對應并具有權重關系的所述復數個臉部表情參數的復數個融合參數；以及根據所述復數個融合參數，產生一模擬用戶的臉部表情。

技術領域

本發明涉及在虛擬實境/擴增實境/混合實境/延展實境系統中通過數據融合產生臉部表情的方法及相關裝置。

背景技術

大部分的虛擬實境/擴增實境/混合實境/延展實境系統可在房間大小的區域內，依據用戶穿載的用戶接口裝置，來追蹤用戶的動作行為。用戶接口裝置(如游戲手把、控制器、觸控面板等)用來提供用戶與系統軟件之間的互動，舉例來說，系統軟件包含有運算裝置執行的虛擬實境游戲。此外，用戶穿載的頭戴式顯示器(head-mounted display，HMD)用來顯示運算裝置產生的互動影像，能讓用戶體驗虛擬實境。

為了增加用戶對虛擬實境沉浸的意愿，現有技術提出了具有臉部表情(例如中立、快樂、憤怒、驚訝和悲傷)的模擬用戶(avatar)，即虛擬實境環境中的用戶代表，以實時地表現出用戶的真實感受，進而增加社交溝通效果。然而，模擬用戶的面部表達受限于頭戴式顯示器，因而造成用戶與模擬用戶的面部表情無法同步。傳統臉部表情的表現方式是通過外部相機拍攝佩戴頭戴式顯示器的用戶的臉部，以收集一時間序列的圖像，并從中提取面部特征以識別面部表情，但這種方式會因為用戶佩戴頭戴式顯示器，造成用戶大部分的臉部被遮蓋，并且他/她的肌肉運動也受到限制，因而使得在虛擬實境系統中，利用外部相機來實現面部識別會變得困難。

發明內容

因此，本發明的主要目的即在于提供一種通過數據融合產生臉部表情的方法、裝置及頭戴式顯示器，以解決上述問題。

本發明公開了一種通過數據融合產生臉部表情的方法，包括：從復數個數據來源取得一用戶的一臉部數據，其中所述復數個數據來源包含一實時偵測數據及一預設數據；映射所述臉部數據至復數個臉部表情參數，用來模擬所述用戶的一臉部幾何模型；根據所述復數個臉部表情參數，進行一融合運算操作，用來產生對應并具有權重關系的所述復數個臉部表情參數的復數個融合參數；以及根據所述復數個融合參數，產生一模擬用戶的臉部表情。

本發明另提供了一種頭戴式顯示器，用于通過數據融合產生一模擬用戶的臉部表情，所述頭戴式顯示器包括：一處理單元，用來執行一程序碼；一存儲單元，連接于所述處理單元，用來存儲所述程序碼；復數個追蹤單元，連接于所述處理單元，用來從復數個數據來源收集一用戶的臉部數據，其中所述復數個數據來源包含一實時偵測數據及一預設數據；所述程序碼指示所述處理單元以在所述處理單元或一云端執行以下所有步驟，或者，在所述處理單元執行一部分以下步驟而在所述云端執行另一部分以下步驟：從所述復數個追蹤單元取得所述臉部數據；映射所述臉部數據至復數個臉部表情參數，用來模擬所述用戶的一臉部幾何模型；根據所述復數個臉部表情參數，進行一融合運算操作，用來產生對應并具有權重關系的所述復數個臉部表情參數的復數個融合參數；以及根據所述復數個融合參數，產生模擬所述用戶的臉部表情。