[發明專利]一種拆卸動作識別方法

有效

• 申請號: 201810945756.1
• 申請日: 2018-08-20
• 公開（公告）號: CN110852135B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 王磊;于新;李曉雯;魏超虎;鄺偉杜;吳可歆;劉思閱;任宇欣
• 申請（專利權）人: 吉林大學
• 主分類號: G06V40/20
• 分類號: G06V40/20
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 崔斌

1.一種拆卸動作識別方法，其特征在于，該識別方法包括以下步驟：

步驟一、利用Kinect V2采集25個人體骨骼點包括頭、頸、肩中心、左拇指A₁(x_1,i,y_1,i,z_1,i)、右拇指A₂(x_2,i,y_2,i,z_2,i)、左指尖A₃(x_3,i,y_3,i,z_3,i)、右指尖A₄(x_4,i,y_4,i,z_4,i)、左手A₅(x_5,i,y_5,i,z_5,i)、右手A₆(x_6,i,y_6,i,z_6,i)、左手腕A₇(x_7,i,y_7,i,z_7,i)、右手腕A₈(x_8,i,y_8,i,z_8,i)、左肘、右肘、左肩膀、右肩膀、脊柱、髖關節中心、左臀、左膝蓋、左腳踝、左腳、右臀、右膝蓋、右腳踝、右腳；其中A₁(x_1,i,y_1,i,z_1,i)表示第i幀的左拇指點的坐標點，1秒25幀；A₂(x_2,i,y_2,i,z_2,i)表示第i幀的右拇指點的坐標點，1秒25幀；A₃(x_3,i,y_3,i,z_3,i)表示第i幀的左指尖點的坐標點，1秒25幀；A₄(x_4,i,y_4,i,z_4,i)表示第i幀的右指尖點的坐標點，1秒25幀；A₅(x_5,i,y_5,i,z_5,i)表示第i幀的左手點的坐標點，1秒25幀；A₆(x_6,i,y_6,i,z_6,i)表示第i幀的右手點的坐標點，1秒25幀；A₇(x_7,i,y_7,i,z_7,i)表示第i幀的左手腕點的坐標點，1秒25幀；A₈(x_8,i,y_8,i,z_8,i)表示第i幀的右手腕點的坐標點，1秒25幀；

步驟二、抓取動作判定；

抓取動作需要根據手部的彎曲程度和指尖與拇指的距離判定；具體如下：

以左手為例，此時左手至左拇指向量左手至左指尖向量夾角左指尖與左手的距離

條件1：當θ₁小于15°轉條件2；

條件2：開始計算左指尖與左拇指的距離當認為完成抓取動作；

右手的抓取動作判定如左手；如果任意左手或右手完成抓取動作，記錄此時刻i＝n₁，轉步驟三；

步驟三、拆卸狀態判定；

拆卸的單雙手操作狀態會影響嚙合程度和操作難易程度判定，本步驟將根據雙手的抓取情況、雙手中心點的距離和雙手移動情況來判斷，如果判定不是雙手拆卸，即為單手拆卸；

雙手拆卸判定需要得到左指尖到左拇指的中心點右指尖到右拇指的中心點計算中心B_1,i與B_2,i的距離

條件1：左手和右手均完成抓取動作，轉條件2；

條件2：取n₁幀到n₁+74幀的l_3,i，求得均值標準差當標準差σ₁≤3時，認為雙手間距未產生變動，轉條件3；

條件3：分別計算左指尖和右指尖在n₁幀到n₁+74幀中的偏移距離和當L₂5cm且L₃5cm，條件3符合，認為現在是雙手拆卸狀態；如果不滿足以上判定條件就認為是單手拆卸；

步驟四、嚙合程度判定；

步驟三中如果為雙手拆卸，嚙合程度將以左手的相關骨骼點進行嚙合程度判定，如果是單手拆卸，即使用拆卸手的相關骨骼點進行判定；

以左手相關骨骼點為例進行嚙合程度判定；

嚙合程度分為放松、緊密和緊固狀態，從n₁幀開始，左手就在進行拆卸動作，已知左指尖到左拇指的中心點需求得中心點B_1,i第i幀到第i+1幀的向量簡化方程

判定過程1：持續計算當θ_2,i+2＜50°，認為未發生反動作，此時如果左手滿足放手判定，且判定后10幀θ_2,i+2均滿足θ_2,i+2＜50°，記錄此時刻i＝n₂，中止識別，此時j＝0、k＝0，認為嚙合程度放松，拆卸過程無明顯反動動作，拆卸后，左手自然脫離；此時j0、k＝0，認為嚙合程度緊固，拆卸過程G2動作次數為j次；此時k0，認為嚙合程度緊密，拆卸過程G2動作次數為j次，AP1動作次數為k次；當出現θ_2,i+2≥50°，認為發生反動作，轉判定過程2；θ_2,i+2表示抓取過程中左指尖到左拇指的中心點3個連續點組成的兩個向量的夾角，如果反向運動，夾角必大于50°，j用于記錄握住物件動作G2，k用于記錄加壓動作AP1；

判定過程2：當出現θ_2,i+2＜50°，說明反動作結束，當l₄＜10cm，認為嚙合程度放松；當l₄∈[10cm,13cm]，認為嚙合程度緊固，j＝j+1，初始j為0；當l₄∈(13cm,30cm]，認為嚙合程度緊密，k＝k+1，初始k為0；轉條件1；

右手嚙合程度判定同左手；

步驟五、操作難易程度判定；

操作的難易程度分為操作容易和操作困難，單手拆卸將根據方案1進行識別，雙手拆卸根據方案2進行識別；拆卸的放手判定滿足條件1、2任意一條即可；條件1：當θ₁大于15°；條件2：

方案1、單手拆卸，以左手為例；

過程1：記錄從開始時刻n₁到結束時刻n₂完成抓取和放手動作時，記錄左手腕到左手的向量m指抓取動作和放手的總和，轉過程2；過程2：計算過程1中其它向量與第一次抓取記錄向量的夾角，求得最大夾角為當大于D₁≤45°，說明不需要改變手對物體最初握持位置，認為操作容易；當大于D₁45°，說明需要調整對物件的握持位置，認為操作困難；

方案2、雙手拆卸；

過程1：記錄從開始時刻n₁到結束時刻n₂完成抓取和放手動作時，記錄左手腕到左手的向量m指左手抓取動作和左手放手的總和，右手腕到右手的向量l指右手抓取動作和右手放手的總和；左指尖到左拇指的中心點右指尖到右拇指的中心點左手完成抓取和放手動作時，記錄向量

過程2：計算過程1中其它向量與第一次抓取記錄向量的夾角，求得最大夾角為D₄＝max{D₁,D₂,D₃}，當大于D₄≤45°，說明不需要改變手對物體最初握持位置，認為操作容易；當大于D₄45°，說明需要調整對物件的握持位置，認為操作困難；

步驟六、MTM標準時間測算；

根據嚙合程度和操作難易程度，對照拆卸動作時間標準表即可得到拆卸動作的標準時間E；與此同時，還需要加上拆卸過程中出現的握住物件動作即G2和加壓動作即AP1，拆卸動作的具體標準時間為E+j×G2+k×AP1。