[發(fā)明專利]基于時空特征組合回歸的人體動作評價方法

有效

• 申請?zhí)枺?/td>: 202110666807.9
• 申請日: 2021-06-16
• 公開（公告）號: CN113239897B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設計）人: 王正友;王佳輝;張志濤;孫鑫;楊桂懿;莊珊娜
• 申請（專利權）人: 石家莊鐵道大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/40;G06V10/80;G06V10/774
• 代理公司: 河北冀華知識產(chǎn)權代理有限公司 13151
• 代理人: 王占華

1.一種基于時空特征組合回歸的人體動作評價方法，其特征在于包括如下步驟：

特征編碼提取：對獲取到的已識別的動作序分別從時間特征、空間特征和時空特征三個方面進行特征編碼；

特征碼融合：根據(jù)自注意力網(wǎng)絡融合時間特征、空間特征和時空特征三個方面的特征編碼信息；

動作回歸評分：將融合后的特征送入回歸評價模塊進行處理，給出動作的最終得分；

采用結構特征空間卷積網(wǎng)絡圖卷積GCN和多層感知機模型MLP分別對骨架節(jié)點和關節(jié)點特征進行提取，并利用自適應空間結構特征融合塊進行融合，實現(xiàn)空間特征提取編碼信息；

使用結構特征空間卷積網(wǎng)絡圖卷積GCN對骨架節(jié)點特征進行提取的方法如下：

通過GCN分層規(guī)則進行更新：

其中是增加了節(jié)點自身以保持恒等特征的鄰接矩陣，I表示單位陣，是的度矩陣，σ(·)表示激活函數(shù)；

通過GCN提取骨架的結構信息，表達式如下：

其中S₁是骨架結構特征；

使用多層感知機模型MLP對關節(jié)點特征進行提取的方法如下：

訓練多層感知機模型MLP更新規(guī)則如下：

其中w_k是參數(shù)權重，b_l是參數(shù)偏置，η是超參數(shù)學習速率，m是后一層的輸出節(jié)點個數(shù)，是后一層的輸入節(jié)點；

通過下采樣操作解決復雜度較高問題，表達式如下：

S₂＝σ(fc(ReLU(fc(GAP(X))))?(5)

其中X是節(jié)點特征矩陣，ReLU(·)和σ(·)表示激活函數(shù)，GAP(·)表示全局平均池化，fc(·)表示全連接層；

利用自適應空間結構特征融合塊進行融合的方法如下：

學習不同分支的時空權重，得到注意力系數(shù)：

其中A,B為壓縮后的特征向量，最終輸出融合向量S_fusion：

其中(:)表示S₁,S₂級聯(lián)，softmax()是歸一化指數(shù)函數(shù)；

所述自注意力網(wǎng)絡進行融合的方法如下：

時空特征編碼融合過程：

其中代表矩陣乘法，表示級聯(lián)運算，f_t^(t)和f_s^(t)分別表示時空特征、時間特征和空間特征編碼信息，W^(t)表示注意力參數(shù)；

其中softmax(·)表示softmax函數(shù)，F(xiàn)C_key(·)表示學習輸入映射的全連接層；

使用回歸評價模塊進行評價的方法如下：

回歸評價模塊預測動作得分如下式：

其中S代表動作預測分數(shù)，表示注意力融合特征，T表示骨骼序列的長度，表示回歸模塊；

損失函數(shù)選用均方誤差，定義為其中y_i和表示標簽值和預測值，C表示樣本數(shù)；

從時空角度分析人體動作，分別得到時間和空間得分以及總分，所以損失函數(shù)需要綜合分析，損失函數(shù)時空表示如下：

其中分別表示時空動作評價總分，空間評價得分和時間評價得分，θ表示可學習權重；

采用門控TCN對時間特征進行特征編碼提取；采用門控TCN對時間特征進行特征編碼提取的方法如下：

采用門控激活單元優(yōu)化TCN，利用Sigmoid和Tanh激活函數(shù)計算元素乘積，門控激活單元表達式如下：

h＝tanh(Θ₁x+b)⊙σ(Θ₂x+c)?(1)

其中⊙表示哈達瑪積，tanh(·)代表輸出層激活函數(shù)，σ(·)表示Sigmoid函數(shù)，控制信息輸出到下一層的比率。

2.如權利要求1所述的基于時空特征組合回歸的人體動作評價方法，其特征在于，所述方法還包括根據(jù)現(xiàn)有基于骨骼坐標的動作識別方法或者數(shù)據(jù)集，獲取到已識別的三維坐標動作序列的步驟。