[發明專利]一種基于眼球追蹤的面部表情控制方法及系統

在審

• 申請號: 201910970941.0
• 申請日: 2019-10-14
• 公開（公告）號: CN110837294A
• 公開（公告）日: 2020-02-25
• 發明（設計）人: 巫育裕;李愛華;周誠
• 申請（專利權）人: 成都西山居世游科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;A63F13/21;A63F13/40;A63F13/52;A63F13/822;G06K9/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 張志輝

1.一種基于眼球追蹤的面部表情控制方法，其特征在于，包括以下步驟：

S100、用戶使用終端設備運行游戲程序；

S200、游戲程序調用終端設備的圖像采集裝置獲取用戶的眼球狀態信息，其中眼球狀態信息包括眼球與設備的角度、注視方向、眨眼動作和眼睛瞳孔大小變化、虹膜拉伸或收縮狀態；

S300、根據獲取的眼球狀態信息，調用機器學習算法計算用戶當前的情緒屬性；

S400、根據客戶當前的情緒屬性，按照預設規則從表情庫中調用對應的表情并由游戲中指定的虛擬角色進行展示。

2.根據權利要求1所述的基于眼球追蹤的面部表情控制方法，其特征在于，所述S200還包括：

S210、在指定時間段內采集一定數量的用戶眼球靜態圖像，其中指定時間段和一定數量可自定義；

S220、選取一定數量的用戶眼球靜態圖像進行對比，根據對比結果獲取用戶眼球在指定時間內變化狀態及變化軌跡。

3.根據權利要求2所述的基于眼球追蹤的面部表情控制方法，其特征在于，所述S220還包括：

S221、選取在時間上相鄰的兩張用戶眼球靜態圖像，進行對比得到眼球差異性；

S222、根據差異性結合對應時間節點圖像采集裝置在終端設備上的固定位置計算用戶眼鏡與設備的距離。

4.根據權利要求1所述的基于眼球追蹤的面部表情控制方法，其特征在于，所述S300還包括：

S310、獲取眼球狀態信息與對應情緒聯系的大數據信息；

S320、根據大數據信息對機器學習算法進行訓練，得到訓練后的機器情緒算法；

S330、將采集到的用戶眼球狀態信息作為輸入，機器情緒算法進行對應訓練后輸出一定時間段內的用戶情緒信息。

5.根據權利要求1所述的基于眼球追蹤的面部表情控制方法，其特征在于，所述S400還包括：

S410、基于響應算法模型，以用戶情緒作為輸入，輸出虛擬角色眼睛對應變化的回視角度、瞳孔大小以及眼睛外廓形態數據；

S420、從表情庫中調用對應的表情并由游戲中指定的虛擬角色進行展示。

6.一種基于眼球追蹤的面部表情控制系統，其特征在于，包括：

執行模塊，用于在終端設備運行游戲程序；

設備調用模塊，用于調用終端設備的圖像采集裝置獲取用戶的眼球狀態信息，其中眼球狀態信息包括眼球與設備的角度、注視方向、眨眼動作和眼睛瞳孔大小變化、虹膜拉伸或收縮狀態；

機器算法執行模塊，用于根據獲取的眼球狀態信息，調用機器學習算法計算用戶當前的情緒屬性；

表情調用模塊，用于據客戶當前的情緒屬性，按照預設規則從表情庫中調用對應的表情并由游戲中指定的虛擬角色進行展示。

7.根據權利要求6所述的基于眼球追蹤的面部表情控制系統，其特征在于，所述圖像采集裝置包括但不限于攝像頭以及紅外線投射采集裝置。

8.根據權利要求6所述的基于眼球追蹤的面部表情控制系統，其特征在于，所述設備調用模塊還包括：

設置單元，用于設置圖像采集裝置的采集時間段和采集頻率，在指定時間段內采集一定數量的用戶眼球靜態圖像，其中指定時間段和一定數量可自定義；

軌跡生成單元，用于選取一定數量的用戶眼球靜態圖像進行對比，根據對比結果獲取用戶眼球在指定時間內變化狀態及變化軌跡。

9.根據權利要求8所述的基于眼球追蹤的面部表情控制系統，其特征在于，所述軌跡生成單元還包括：

對比子單元，用于選取在時間上相鄰的兩張用戶眼球靜態圖像，進行對比得到眼球差異性；

距離計算子單元，用于根據差異性結合對應時間節點圖像采集裝置在終端設備上的固定位置計算用戶眼鏡與設備的距離。

10.據權利要求6所述的基于眼球追蹤的面部表情控制系統，其特征在于，所述機器算法執行模塊還包括：

大數據單元，用于獲取眼球狀態信息與對應情緒聯系的大數據信息；

訓練單元，用于根據大數據信息對機器學習算法進行訓練，得到訓練后的機器情緒算法；

計算單元，用于將采集到的用戶眼球狀態信息作為輸入，機器情緒算法進行對應訓練后輸出一定時間段內的用戶情緒信息。