[發明專利]一種基于空間匹配的3D骨骼動作識別方法

在審

• 申請號: 201810567026.2
• 申請日: 2018-06-05
• 公開（公告）號: CN108898064A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 王峰;梁淇
• 申請（專利權）人: 華東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于空間匹配的3D骨骼動作識別方法，該方法首先計算骨骼數據序列的特征，然后計算各骨骼關節點之間的空間相對距離并選取值較高的top?K個關節對，以此為指標匹配這K個關節對之間的特征，最后計算匹配后的特征相似性，進行動作的分類與識別。本發明針對3D骨骼動作識別中關節點間相關性信息的缺失進行彌補，通過選取具有較高相關性的關節點對進行特征匹配，實現了3D骨骼動作識別準確率的提升。

技術領域

本發明涉及3D骨骼動作識別領域，即基于空間匹配的動作識別方法。

背景技術

動作識別在諸如智能安防、人機交互、無人駕駛等應用領域具有關鍵作用。很長一段時間，RGB圖像都是動作識別的信息來源。隨著深度相機的出現以及深度圖像估測技術的發展，動作識別中出現了新的分支，即3D骨架動作識別。3D骨架關節點數據是在深度圖像的基礎之上通過估測技術得到的，具有光照變化不敏感的特性。

當前存在的3D骨骼動作識別大多都專注與提取具有區分度的特征以描述每個骨骼部位的變化特點，再計算對應部位的動作特征相似性，用以進行動作識別。然而，動作在執行時，各個部位之間不是獨立存在，而是協同配合以完成某個動作。這些協同信息在以往的方法中常被忽略。3D骨骼動作識別準確率還具有上升的空間。

發明內容

本發明的目的是提供一種基于空間匹配的3D骨骼動作識別方法，該方法通過簡單有效的步驟挖掘出能夠表達動作模式的骨骼關節點對，通過匹配的方法獲取有效特征，實現3D骨骼動作識別準確率的提升。

本發明的目的是這樣實現的：

一種基于空間匹配的3D骨骼動作識別方法，特點是通過計算骨骼關節點之間的相關性，選取具有代表動作模式的top-k個關節點對，并對這些關節點對進行特征匹配，匹配后的特征與之前的特征使用級聯進行動作識別；具體包括以下步驟：

步驟1：以經過預處理后的深度相機獲取的動作骨骼關節點序列為輸入；

步驟2：每個關節點的坐標和時間幀級聯成特征；

步驟3：計算每一個動作序列中，骨骼關節點之間的空間相對距離；

步驟4：根據降序，選取top-K個骨骼關節點對，并得到對應的指示矩陣；

步驟5：根據指示矩陣，使用平均池化的方法獲取匹配后的特征；

步驟6：根據指示矩陣和匹配后的特征計算MSCKernel；

步驟7：計算匹配前的特征對應的MSCKernel，并與匹配后計算的MSCKernel進行融合，最后放入SVM進行動作分類。

所述步驟1中的動作骨骼關節點序列為各關節點的三維空間坐標。

所述步驟3中計算每一個動作序列中，骨骼關節點之間的空間相對距離公式為：

其中，表示N幀時長的動作序列上點關節點i和關節點j之間的距離均值；而且，Dist(t,(i,j))表示在t時刻，骨骼關節點i和j之間的空間距離，即：

x_i(t)，y_i(t)，z_i(t)表示關節點i在t時刻的坐標值。

所述步驟4中得到對應的指示矩陣，具體包括：

1)將所有的關節點對對應的空間相對距離進行降序排列；

2)選取第K大的空間相對距離為閾值ε，大于等于該閾值則為1，否則為0，得到指示矩陣H，其中，對角元素皆為0：

所述步驟5中的平均池化為：