[發明專利]一種非接觸的基于“手+臉表情+頭部姿態”的混合控制方法

在審

• 申請號: 201811066599.3
• 申請日: 2018-09-13
• 公開（公告）號: CN109408037A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 殷繼彬;于鯤
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種非接觸的基于“手+臉表情+頭部姿態”的混合控制方法，其特征在于：包括如下步驟：

(1)首先登錄Face++官網，然后注冊賬號并且登錄到自己的控制臺，創建人臉關鍵點檢測應用；

(2)配置基于JMF框架的攝像頭環境，可以獲取到攝像頭的圖片流，作為“臉表情”和“頭部姿態”的輸入源；

(3)然后編寫代碼調用后臺創建的人臉關鍵點檢測應用，獲取眼睛狀態、嘴巴狀態和頭部姿態的檢測值；

(4)配置Leap Motion的環境，這樣可以讓Leap Motion動態地獲取手勢，作為手勢的輸入源；

(5)編寫代碼并在代碼中實現Leap Motion的動態手勢獲取；

(6)根據獲取的眼睛、頭部和手的狀態，自定義“手+臉表情+頭部姿態”混合交互手勢；

(7)自定義混合交互手勢所對應的計算機交互命令；

(8)將混合手勢與自定義的交互命令進行對應，產生相應的反饋效果；

(9)設計混合交互手勢應用對混合交互手勢進行識別；

(10)設計實驗驗證混合交互手勢的準確性和精確性。

2.根據權利要求1所述的一種非接觸的基于“手+臉表情+頭部姿態”的混合控制方法，其特征在于：具體步驟如下：

Step1、首先登錄Face++官網，然后注冊賬號并且登錄到自己的控制臺，然后點擊“應用管理”，點擊“創建API key”創建人臉關鍵點檢測應用，生成“API key”和“API Secret”；

Step2、配置基于JMF框架的攝像頭環境，然后編寫代碼獲取攝像頭的數據流并生成Image對象，作為“臉表情”和“頭部姿態”的輸入源；

Step3、編寫代碼調用后臺創建的人臉關鍵點檢測應用，獲取左眼狀態left_eye_status、右眼狀態right_eye_status、嘴巴狀態mouthstatus和頭部姿態角度headpose的檢測值；

Step4、下載Leap Motion的SDK文件，并配置本地系統的環境，這樣可以讓LeapMotion動態地獲取手勢，作為手勢的輸入源；

Step5、實例化Controller對象，并開啟Leap Motion的四種手勢識別，使系統能夠在代碼中動態地識別Leap Motion的各種手勢；

Step6、根據獲取的眼睛、頭部和手的狀態，自定義“手+臉表情+頭部姿態”混合交互手勢；

Step7、自定義混合交互手勢所對應的計算機交互命令，包括選中、右擊、左擊、下滑、上滑、左滑、右滑、放大、縮小的命令；

Step8、將自定義的混合手勢與自定義的交互命令進行對應，并一一測試是否手勢與命令是否對應成功；

Step9、設計混合交互手勢代碼對混合交互手勢驗證，在主界面中放入一個目標，根據這個目標的顏色、大小、位置、是否被選中的狀態對混合手勢進行反饋；

Step10、設計實驗驗證混合手勢的準確性。

3.根據權利要求2所述的一種非接觸的基于“手+臉表情+頭部姿態”的混合控制方法，其特征在于：所述的Step10具體步驟如下：

Step10.1、在Step9中混合交互手勢代碼中加入Correct參數和Error參數，每進行一次混合手勢識別，無論是正確還是錯誤，都將會被記錄；

Step10.2、每一個手勢進行50次實驗，分析正確和錯誤的次數，然后得出準確率；

Step10.3、設計精準性實驗，設計一個主界面，里面放入五個位置不同的目標，通過改變它們的大小以及他們之間的距離，來測試混合手勢的精準性；

Step10.4、對精準性實驗結果進行分析，得出混合手勢的精準性。