[發明專利]一種基于空間匹配的3D骨骼動作識別方法

在審

• 申請號: 201810567026.2
• 申請日: 2018-06-05
• 公開（公告）號: CN108898064A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 王峰;梁淇
• 申請（專利權）人: 華東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于空間匹配的3D骨骼動作識別方法，具體包括以下步驟：

步驟1：以經過預處理后的深度相機獲取的動作骨骼關節點序列為輸入；

步驟2：每個關節點的坐標和時間幀級聯成特征；

步驟3：計算每一個動作序列中，骨骼關節點之間的空間相對距離；

步驟4：根據降序，選取top-K個骨骼關節點對，并得到對應的指示矩陣；

步驟5：根據指示矩陣，使用平均池化獲取匹配后的特征；

步驟6：根據指示矩陣和匹配后的特征計算MSCKernel；

步驟7：計算匹配前的特征對應的MSCKernel，并與匹配后計算的MSCKernel進行融合，最后放入SVM進行動作分類。

2.根據權利要求1所述的3D骨骼動作識別方法，其特征在于，所述步驟1中的動作骨骼關節點序列為各關節點的三維空間坐標。

3.根據權利要求1所述的3D骨骼動作識別方法，其特征在于，所述步驟3中計算每一個動作序列中，骨骼關節點之間的空間相對距離公式為：

其中，表示N幀時長的動作序列上點關節點i和關節點j之間的距離均值；而且，Dist(t,(i,j))表示在t時刻，骨骼關節點i和j之間的空間距離，即：x_i(t)，y_i(t)，z_i(t)表示關節點i在t時刻的坐標值。

4.根據權利要求1所述的3D骨骼動作識別方法，其特征在于，所述步驟4中得到對應的指示矩陣，具體包括：

1)將所有的關節點對對應的空間相對距離進行降序排列；

2)選取第K大的空間相對距離為閾值ε，大于等于該閾值則為1，否則為0，得到指示矩陣H，其中，對角元素皆為0：

5.根據權利要求1所述的3D骨骼動作識別方法，其特征在于，所述步驟5中的平均池化為：

其中，C_i表示動作序列中骨骼t時刻第i個骨骼關節點的坐標，t_i表示第i個關節點的時間幀；C_j表示動作序列中骨骼t時刻第j個骨骼關節點的坐標，t_j表示第j個關節點的時間幀。

6.根據權利要求1所述的3D骨骼動作識別方法，其特征在于所述計算MSCKernel，具體為：

其中，表示動作序列a的指示矩陣i行j列的值，其意義是關節點i和j之間的空間相對距離是否在top-k中，即動作關節點對(i,j)是否參與動作執行；同理，表示序列b的對應含義；λ_i,j表示的是動作序列a和b對應的點對是否都參與了動作執行；分別表示的是動作序列a和b中，關節點i和j平均池化后的特征；Kernel(a,b)是表征動作序列a和b之間相似距離的核函數值；G_σ1是參數為σ1的徑向量積核函數；σ1參數控制徑向量積核函數作用范圍的參數，表示的是兩個動作序列中對應關節點的坐標特征相似的程度；G_σ2表示的是參數為σ2的徑向量積核函數；σ2參數控制徑向量積核函數作用范圍的參數，表示的是兩個動作序列中對應關節點的時間特征相似的程度；t1，t2，N1，N2分別表示序列1中關節點i所在的時間幀，序列2中關節點i所在的時間幀，序列1的長度，序列2的長度；m表示需要計算的關節點的數量，n表示的是骨骼的關節點數。

7.根據權利要求1所述的3D骨骼動作識別方法，其特征在于，步驟7中，所述進行融合，具體為：

FKernel＝α*K₁+β*K₂

其中，FKernel表示放入SVM進行分類的核函數，K1表示匹配前特征的核函數，K2表示的是步驟6計算出的核函數kernel，α表示K1的權重參數，β表示的是K2對應的權重參數。