[發明專利]一種虛擬裝配操作中身體彎曲類動作檢測方法

有效

• 申請號: 201711091356.0
• 申請日: 2017-11-08
• 公開（公告）號: CN107783654B
• 公開（公告）日: 2018-07-31
• 發明（設計）人: 高大偉;劉鵬;黃卓;徐楊;張開淦;張昕瑩;陳雪純;曹明鈺
• 申請（專利權）人: 吉林大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06T13/40;G06Q10/06
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 崔斌

1.一種虛擬裝配操作中身體彎曲類動作檢測方法，其特征在于，該檢測方法包括以下步驟：

步驟一、根據人體骨骼點，構建三個平面；

步驟二、判斷工人是否是彎腰；

步驟三、判斷工人是否蹲下或單膝觸地或雙膝觸地；

步驟四、判斷工人左右手動作抓取情況；

步驟五、記錄工人的動作操作時間，給予操作動作做評價；

所述的步驟一的具體步驟為：

11)通過Kinect V2人機交互設備中的深度相機獲取人體25個部位骨骼點數據，其中25個部位骨骼點包括頭、頸、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髖關節中心、左臀、左膝蓋、左腳踝、左腳、右臀、右膝蓋、右腳踝、右腳；

12)采集人體直立時的左腳坐標點A₁(x₁,y₁,z₁)、右腳踝坐標點A₂(x₂,y₂,z₂)、右腳坐標點A₃(x₃,y₃,z₃)，可得到構建平面C，首先確認法向量可得

設B₁為(y₂-y₁)×(z₃-z₂)-(z₂-z₁)×(y₃-y₂)，B₂為(z₂-z₁)×(x₃-x₂)-(x₂-x₁)×(z₃-z₂)，B₃為(x₂-x₁)×(y₃-y₂)-(y₂-y₁)×(x₃-x₂)；

法向量即為n＝(B₁,B₂,B₃)，平面方程即為B₁(x-x₁)+B₂(y-y₁)+B₃(z-z₁)＝0，化簡可得B₁x+B₂y+B₃z＝B₁x₁+B₂y₁+B₃z₁；

設B₁x₁+B₂y₁+B₃z₁為平面C，方程即可表示為B₁x+B₂y+B₃z＝C；

此時，采集得到右膝蓋坐標點A₄(x₄,y₄,z₄)，右臀坐標點A₅(x₅,y₅,z₅)，髖關節中心坐標點A₆(x₆,y₆,z₆)，肩中心坐標點A₇(x₇,y₇,z₇)，首先計算右膝蓋坐標點到右腳踝坐標點的距離再計算右膝蓋坐標點到右臀坐標點的距離最后計算出右臀坐標點到髖關節中心坐標點加上髖關節中心坐標點到肩中心坐標點距離

此時構建平面1：B₁x+B₂y+B₃z＝C+0.7l₁；

此時構建平面2：B₁x+B₂y+B₃z＝C+0.7l₁+l₂；

此時構建平面3：B₁x+B₂y+B₃z＝C+0.7l₁+l₂+l₃；

此時低于平面1為1號區域，在平面1與平面2之間為2號區域，在平面2與平面3之間為3號區域，高于在平面3為4號區域；

所述的步驟二的具體步驟為：

21)采集左腳坐標點A₁(x₁,y₁,z₁)，髖關節中心坐標點A₆(x₆,y₆,z₆)，左臀坐標點A₇(x₇,y₇,z₇)，頸坐標點A₈(x₈,y₈,z₈)；此時需要記錄頸部點的速度作為以下所有判斷時間的啟動條件，即已知Kinect V2最高頻率可以實現30幀/秒，即每秒得到30組骨骼點數據；每采集5幀計算一次速度，可得頸部的移動速度V₁，當速度大于0.3m/s之后，時間計為T₁，認為開始彎曲身體，當速度小于0.3m/s之后，時間計為T₂，開始采集骨骼數據點進行識別；

22)此時左臀到左腳的向量髖關節中心到頸的向量向量與向量的夾角即為如果角度θ₁的夾角小于150°，即進行下一步判定；

23)計算頸部離平面2、3的距離，其中頸部距離平面2的距離為其中頸部距離平面3的距離為

24)當d₁和d₂都小于長度l₃時，此時頸部在3號區域，即認為完成彎腰動作；

所述的步驟三的具體步驟為：

31)采集左腳坐標點A₁(x₁,y₁,z₁)，左膝蓋點A₉(x₉,y₉,z₉)，左臀點A₇(x₇,y₇,z₇)，右腳坐標點A₃(x₃,y₃,z₃)，右膝蓋點A₄(x₄,y₄,z₄)，右臀點A₁₀(x₁₀,y₁₀,z₁₀)；此時左膝蓋到左腳的向量左膝蓋到左臀的向量向量與向量的夾角即為如果角度θ₂的夾角小于90°，即可知左腿彎曲；此時右膝蓋到右腳的向量右膝蓋到右臀的向量向量與向量的夾角即為如果角度θ₃的夾角小于90°，即可知右腿彎曲；

32)此時計算左膝蓋點離平面1和平面2的距離，其中左膝蓋點距離平面1的距離為左膝蓋點距離平面2的距離為計算右膝蓋點離平面1和平面2的距離，其中右膝蓋點距離平面1的距離為右膝蓋點距離平面2的距離為

33)當d₃和d₄都小于長度l₂時，且d₅和d₆都小于長度l₂時，即左膝蓋和右膝蓋都在2號區域，則認為完成下蹲動作；

當d₃小于長度0.7l₁，d₄大于長度l₂時，且d₅和d₆都小于長度l₂時，即左膝蓋在1號區域，右膝蓋都在2號區域，則認為完成單膝觸地動作；

當d₃小于長度0.7l₁，d₄大于長度l₂時，且d₅小于長度0.7l₁，d₆大于長度l₂時，即左膝蓋和右膝蓋都在1號區域，則認為完成雙膝觸地動作；

所述的步驟四的具體步驟為：

需要采集左手坐標點A₁₁(x₁₁,y₁₁,z₁₁)，右手坐標點A₁₂(x₁₂,y₁₂,z₁₂)，記錄時間T₁到時間T₂間頸部、左手、右手的移動速度，并算得平均速度其中計算相對移動速度比率當比率大于7％時，認為手部有抓取動作；

所述的步驟五的具體步驟為：

51)識別結束，檢查移動速度V₁，當速度大于0.3m/s之后，認為開始復原動作，當速度小于0.3m/s之后，時間計為T₃，此時需要采集髖關節中心點A₆(x₆,y₆,z₆)，頸點A₈(x₈,y₈,z₈)，左膝蓋點A₉(x₉,y₉,z₉)；

52)計算髖關節中心點離平面2和平面3的距離，其中髖關節中心點距離平面2的距離為髖關節中心點距離平面3的距離為計算頸點離平面2和平面3的距離，其中頸點距離平面2的距離為頸點距離平面3的距離為計算左膝蓋點離平面1和平面2的距離，其中左膝蓋點距離平面1的距離為左膝蓋點距離平面2的距離為

53)當d₇和d₈都小于長度l₃時，d₉大于長度l₃，d₁₀小于長度l₃時，且d₁₁和d₁₂都小于長度l₂時，髖關節中心點在3號區域，頸點在4號區域，左膝蓋點在2號區域，身體回復；

54)記錄動作時間T＝T₃-T₁，比較時間和標準時間T_標準，如果沒有手部動作，標準時間T_標準為2.193s，如果有手部動作，標準時間T_標準為2.58s，求比率

55)-5％≤γ≤5％，則認為操作在正常水平；

γ＜-5％，則認為操作為高效操作狀態；

5％＜γ≤10％，則認為操作在恢復疲勞時間的動作時間；10％＜γ，則認為操作在疲勞狀態操作。