[發明專利]一種基于關鍵姿勢和DTW的人體動作識別方法

在審

• 申請號: 202010982823.4
• 申請日: 2020-09-17
• 公開（公告）號: CN112101243A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 吳亞東;蔡琳;趙思蕊;王賦攀;易思恒
• 申請（專利權）人: 四川輕化工大學;西南科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于關鍵姿勢和DTW的人體動作識別方法，其特征在于：包括以下步驟，

S10、利用深度傳感器采集得到人體動作3D骨架關節坐標數據后，再利用特征關節相對距離描述靜態姿勢；

S20、利用基于時間約束X-Means聚類算法，對原始動作姿勢序列提取關鍵姿勢幀進行描述；

S30、建立標準動作模板庫，基于DTW算法計算組成待識別動作的關鍵姿勢幀序列與標準動作模板庫中的動作關鍵姿勢幀序列之間的相似度距離，將待識別的動作劃分為與之相似度距離最小的動作類型；

其中，由所述S10借助深度傳感器深度傳感器跟蹤和捕獲人體動作關節點的3D空間坐標數據，采用特征關節相對空間距離對動作姿勢進行描述；然后利用所述S20中基于時間約束的X-Means算法對動作姿勢序列進行聚類篩選，得到最終的關鍵幀姿勢序列組合；最后由所述S30，建立標準動作模板庫，基于DTW算法計算組成待識別動作的關鍵姿勢幀序列與標準動作模板庫中的動作關鍵姿勢幀序列之間的相似度距離，將待識別的動作劃分為與之相似度距離最小的動作類型。

2.根據權利要求1所述的一種基于關鍵姿勢和DTW的人體動作識別方法，其特征在于：所述S10中獲取3D人體骨架序列和特征姿勢包括：

S101、由于基于深度傳感器獲取得到的人體骨架關節數據是在設備笛卡爾坐標系下的，并且在運動過程中，人體也很難保持與設備空間平面垂直，因此需要將人體運動原始骨架關節坐標數據從深度傳感器空間坐標系O′X′Y′Z′映射到人體空間坐標系OXYZ，如圖2中所示；

S102、考慮到四肢邊緣關節點的坐標數據易受噪聲等因素的影響，所以選擇運動過程中肢體中變化最為穩定的10個關節點作為特征關節點，如圖1中所示；

S103、將動作骨架序列中每一個靜態姿勢的特征向量可以按照S102的方法獲得，即一個姿勢使用10個特征距離進行描述，則將整個動作姿勢序列可以看做是如下公式矩陣的數據集。

3.根據權利要求1所述的一種基于關鍵姿勢和DTW的人體動作識別方法，其特征在于：所述S20中利用基于時間約束X-Means聚類算法，對原始動作姿勢序列提取關鍵姿勢幀進行描述包括：

S201、通過S10獲得動作姿勢特征數據集后，將動作姿勢的時序屬性當做一個姿勢特征，參與到聚類中，即一個姿勢Pose采用1個時間特征和10個距離特征進行描述；

S202、在X-Means算法步驟中，每次利用K-Means算法聚類時，進行三點限制：1)選擇動作數據序列K均等分后的各個部分的時序中心點作為聚類簇的初始中心點；2)在每一次使用K-Means聚類后，在各個簇內使用距離特征與中心點歐式距離最近的一個姿勢代表該聚類簇；3)在計算每個姿勢幀樣本與聚類中心的距離時，僅僅計算與該姿勢幀時序相鄰的兩個聚類中心的距離，并將該姿勢幀樣本劃分到滿足距離最近的簇中去，從而能夠保證動作姿勢的時序性；

S203、對原始動作姿勢序列使用限制X-Means算法來提取關鍵姿勢幀。

4.根據權利要求1和3所述的一種基于關鍵姿勢和DTW的人體動作識別方法，其特征在于：所述S30中利用DTW進行動作識別包括：

S301、建立標準動作模板；當前動作標準模板建立主要有2種方法：方法一，以某一個動作姿勢序列樣本作為標準，該方法受人為主觀性影響比較大，但能夠快速建立動作模板；方法二，利用DTW計算同一語義的多個樣本中各個樣本同其他動作樣本的距離，然后利用與其他動作樣本距離之和最小的一個作為標準動作模板，該方法相對于方法一充分考慮了動作的類內差異，但往往需要大量的動作樣本；本發明利用S20的X-Means聚類算法提取關鍵幀，然后利用方法二建立動作標準庫；

S302、用DTW算法進行動作匹配識別。

5.根據權利要求4所述的一種基于關鍵姿勢和DTW的人體動作識別方法，其特征在于：所述S302、用DTW算法進行動作匹配識別包括：

S3021、輸入待識別的姿勢序列S和標準的動作姿勢模板庫T；

S3022、初始化相似度閥值τ，并按照S3023～S3024分別計算S與T中參考動作姿勢序列R⁽ⁱ⁾的距離d⁽ⁱ⁾并構成識別距離集合D＝{d⁽¹⁾，d⁽²⁾，…，d^(M)}；

S3023、分別計算S中每一個元素s_i與R⁽ⁱ⁾中的每一個元素r_j的歐式距離d(s_i，r_j)構造一個n*m的距離矩陣Matrix＝(d(s_i，r_j))，i∈[1，m]，j∈[1，n]；

S3024、基于距離矩陣Matrix，采用局部最優找到一條代價最小的規整路徑W＝{W₁，W₂，…，W_K}，且K∈[max(m，n)，m+n-1]，K為路徑的長度，路徑代價函數見下式，

此時式中W_k＝d(s_i，r_j)_k為路徑上的第k個元素，且d(s_i，r_j)為Matrix矩陣中第i行和第j列的元素(i，j)值。假設γ(i，j)是從起點(1，1)到Matrix中元素(i，j)的累加距離，則可通過d(s_i，r_j)求累加距離見下式：

γ(i，j)＝d(s_i，r_j)+min{γ(i-1，j-1)，γ(i-1，j)，γ(i，j-1)}

則S與R⁽ⁱ⁾的相似度距離d⁽ⁱ⁾＝γ(m，n)，即W₁到W_K的距離，將d⁽ⁱ⁾加入識別距離集合D；

S3025、查找出集合D的最小值d⁽ⁱ⁾_min，如果d⁽ⁱ⁾_min＜θ，則將動作S歸類為模板庫T中的第i種動作，否則將S視為未知動作類型；

S3026、輸出S的動作類型，動作識別完畢。