[發明專利]一種基于Kinect的海軍旗語訓練方法

有效

• 申請號: 201410391695.0
• 申請日: 2014-08-11
• 公開（公告）號: CN104133813B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 瞿暢;張小萍;陳厚軍;楊杰;代艾波
• 申請（專利權）人: 南通大學
• 主分類號: G06F17/28
• 分類號: G06F17/28;G06K9/66
• 代理公司: 南京正聯知識產權代理有限公司32243
• 代理人: 顧伯興

1.?一種基于Kinect的海軍旗語訓練方法，其特征在于：該方法包括旗語動作的學習和旗語動作的測試兩種模式，旗語動作的學習模式包括順序學習方式和隨機學習方式，用戶在訓練開始時可通過鼠標、手勢控制或語音輸入選擇任一學習方式，順序學習方式按照旗語動作圖解中的字符順序依次進行旗語動作的訓練；隨機學習方式按照隨機生成的字符訓練與之對應的動作，學習模式下Kinect實時偵測用戶動作，將標準姿勢庫中與屏幕提示字符內容相對應的標準動作模板與用戶動作進行比對，若符合標準姿勢庫的動作規范并保持3秒時間則以得分形式提示動作完成，進入下一旗語動作的訓練，否則根據動作差異指出用戶動作存在的錯誤，并以文字和語音提示的形式為用戶提供動作要領的指導，直至用戶完成當前動作方可進入下一動作的學習；旗語動作的測試模式主要是旗語通信的文本翻譯，用戶首先以手勢控制方式選擇測試的難度等級，根據屏幕隨機顯示的通信內容，完成單一的或連續的旗語動作，Kinect偵測并識別用戶動作后,根據識別到的旗語動作與其表示的字符間的關系,實時翻譯用戶旗語動作的含義，顯示識別結果，并根據用戶是否在規定的時間內完成相應旗語動作，作出得分評價，用戶可通過屏幕顯示的翻譯內容與通信內容的差異直觀比較，尋找差距。

2.根據權利要求1所述一種基于Kinect的海軍旗語訓練方法，其特征在于：旗語動作的學習和旗語動作的測試兩種模式均通過Kinect采集到的用戶動作特征值與標準姿勢庫的動作特征值進行比對完成動作識別；

1）采集上肢骨骼數據，建立動態標準姿勢庫

用戶距離Kinect傳感器1.5m-2m處，面對Kinect傳感器，伸展雙臂，保持水平伸直，Kinect自動采集上肢肩、肘和腕關節點LS、?LE、LW及RS、RE、RW?的三維坐標，計算并存儲手臂長度數據；

右臂手腕節點到右肘節點的距離：

右臂肩節點到右肘節點的距離：

右手臂長度：

左臂手腕節點到左肘節點的距離：

左臂肩節點到左肘節點的距離：

左手臂長度：

選定手腕節點相對于肩節點的坐標數據為每一個標準旗語動作的特征值，建立標準姿勢庫；記左臂手腕節點LW的特征值為[LeftWrist_X，LeftWrist_Y，LeftWrist_Z]，右臂手腕節點RW的特征值為[RightWrist_X，RightWrist_Y，RightWrist_Z]，分別以肩關節為原點建立坐標系，用α_r、β_r、γ_r分別表示右肩坐標系中右肩節點指向右腕節點的有向線段與x、y、z軸正向的夾角；用α_l、β_l、γ_l分別表示左肩坐標系中左肩節點指向左腕節點的有向線段與x、y、z軸正向的夾角，由解析幾何的知識可知，從原點出發的任一單位有向線段的方向余弦即是其端點坐標，則手腕特征值可表示如下：

α_r、β_r、γ_r、α_l、β_l、γ_l角度的取值取決于旗語動作左、右臂的姿勢；

2）判斷手臂伸直程度，提取當前動作特征值，與標準姿勢庫的特征值進行比對，識別用戶當前動作，方法如下：

①?判斷手臂伸直程度

旗語通信中，為盡量擴大手旗揮動的范圍，準確傳達通信信息，要求雙臂伸展，手臂與信號旗呈一條直線，判斷方法：以肩關節為中心，取出關節坐標數據，利用兩個關節點之間的距離和余弦定理，計算手臂肩、肘及腕三個關節點（Point?S、Point?E?、Point?W）的夾角，判斷手臂彎曲程度ArmAngle是否在期望角度ArmAngle的誤差范圍δ內，此條件可表示為：

條件1：Condition1?=?{?Point?S，Point?E?，Point?W，ArmAngle，δ}

根據各關節點間的距離及余弦定理可以計算出其夾角為：

??????

其中，d₁,d₂,d₃分別是手臂腕關節點與肘關節點、肘關節點與肩關節點、腕關節點與肩關節點之間的距離；

判定條件為??????????δ為角度閾值；

②?在滿足條件1的基礎上，判斷用戶雙臂關節活動范圍是否處于允許的深度閾值范圍ε內，此條件可表示為

條件2?：?Condition2?=?{JointType，CurrentShoulder_Z，CurrentWrist_Z，ε}

③?提取用戶當前動作特征值，通過將實時獲取的手腕節點坐標和標準動作的手腕節點坐標作對比，判斷動作是否正確；

實時獲得的手腕節點坐標為（CurrentLeftWrist_X,?CurrentLeftWrist_Y,?CurrentLeftWrist_Z）和(?CurrentRightWrist_X,?CurrentRightWrist_Y,?CurrentRightWrist_Z)，若滿足：

則判斷該動作正確，為動作誤差，取；

動態旗語的動作識別

旗語動作中代表“錯誤”的動作是動態連續動作，在識別過程中的判別方式有別于靜態姿態，除了需按前述判別步驟外，還需判別運動過程中兩手臂是否保持同步，運動過程中檢測每一幀的左、右手手腕節點特征值，判定條件為：

?

若每一幀的檢測都滿足此條件，則判定為兩手臂保持同步；

識別過程中記錄用戶上下揮動手臂的次數，當達到四次的時候根據上述判別條件的判別結果來判斷動作是否正確，并在用戶手臂再次處于上極限位置時開始新一輪的動作識別。

3.根據權利要求1所述的一種基于Kinect的海軍旗語訓練方法，其特征在于：所述訓練方法的學習和測試模式提供了手勢控制和語音識別兩種體感人機交互方式，Kinect捕獲用戶的語音輸入信息，正確識別后觸發相應程序，實現旗語學習方式的選擇、訓練動作的選擇、訓練界面切換及其它人機交互操作，為提高單個字符的語音識別效率，使得語音控制更加準確可靠，本發明以無線電通信中的標準字母解釋法為依據，取各個字母對應的英文詞匯作為選取旗語動作進行學習和測試的語音命令。