[發明專利]一種基于改進長效遞歸深度卷積模型的人物動作識別方法

有效

• 申請號: 202010606907.8
• 申請日: 2020-06-29
• 公開（公告）號: CN111914638B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 胡宸;陳志;史佳成;葉科淮;王仁杰;李玲娟;岳文靜
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種基于改進長效遞歸深度卷積模型的人物動作識別方法，其特征在于，包括如下步驟：

步驟S1、輸入一組連續堆疊的視頻幀，幀與幀之間的一組位移矢量場表示為d_t(u,v)，后一幀與前一幀之間的位移矢量為(u,v)，并將矢量場的水平和垂直分量d^x和d^y作為圖像通道；

步驟S2、將輸入的視頻幀堆疊成L個連續幀的流動通道d^x和d^y，共形成2L個輸入通道；構造用于任意幀τ的卷積神經網絡輸入體積I_τ如下：

u＝[1；w],v[1；h],k＝[1；L]

其中，u為寬度分量，v代表高度分量，k代表長度分量；將基于特征編碼的時間矩陣I_τ(u,v,a)與RGB圖像組成的三維矩陣I_τ2(u,v,a)分別作為時空卷積神經網絡的輸入，其中a∈[1,2L]，是對L幀中一個點進行的編碼，時間域上的神經網絡多次經過由包含方向敏感的濾波器的卷積神經網絡層，整流層和池化層迭代，其中散度，卷曲和剪切力也可以通過光流梯度進行計算，而RGB圖像組成的那部分三維矩陣只需通過正常CNN的多次卷積池化濾波層迭代，最終得到在時間上和空間上幀與幀之間的相互獨立的特征向量x_t；

步驟S3、采用長效遞歸卷積神經網絡將每個視覺輸出特征向量x_t通過歸一化函數φ_v(.)進行特征轉換，得到定長輸出特征序列x₁,x₂,...,x_n；將輸出特征序列輸入至遞歸序列學習模塊，通過下述遞歸方程將隱藏狀態映射到輸出，進行時間動力學建模：

h_t＝g(W_xhx_t+W_hhh_t-1+b_h)

z_t＝g(W_hzh_t+b_z)

其中g代表元素方向的非線性組合函數，x_t代表輸入，W_xh、W_hh、W_hz代表遞歸神經網絡的模型參數，h_t代表t時刻的隱藏狀態，h_t-1代表t前一時刻的隱藏狀態，且h₀＝0；z_t代表t時刻的輸出；對于輸出特征序列x₁,x₂,...,x_n，可得h₁,h₂,…,h_n和z₁,z₂…z_n，b_h代表t時刻的隱藏狀態函數的偏差值，b_z代表t時刻輸出函數的偏差值；

步驟S4、將輸出特征序列x₁,x₂,...,x_n輸入至暫態RNN組件，獲得每一時刻的暫態序列y′₁,y′₂,...,y′_n，采用字符串Hash的方法對暫態序列y′₁,y′₂,...,y′_n進行編碼；將暫態序列y′₁,y′₂,...,y′_n映射成一個值y₁；

步驟S5、計算暫態序列y′₁,y′₂,...,y′_n與從y₁到暫態序列y′₁,y′₂,...,y′_n的映射的匹配程度；將Hash值轉化成二進制編碼，再將y₁分別與每一個映射值的二進制編碼求漢明距離d(x,y)＝∑x⊕y，將漢明距離與預設閾值D比較；當漢明距離小于預設閾值D時，匹配成功，當漢明距離大于等于預設閾值D時，匹配失敗；對暫態RNN組件進行更新，其中每一階段的更新為之前所有的輸入特征的一個總結，如下所示：

y′_t＝f(y′_t-1,x_t)

其中y′_t是t時刻的輸出，x_t是t時刻的輸入，y′_t-1是t時刻上一階段的輸出；

步驟S6、將暫態序列y'₁,y'₂,...,y'_n通過編碼器編碼的輸出y₁放入譯碼器，譯碼器利用前面所有的輸入，獲得輸出行為序列y₂,...,y_m，計算出人物每個時刻最有可能的行為y_t；

步驟S7、對人物每個時刻最有可能的行為y_t進行極大似然估計，更新譯碼RNN組件的參數；基于輸出特征序列和行為序列的組合x₁,x₂,...,x_t,y₁,y₂,...,y_t-1，得到而y_t的條件分布如下：

p(y_t|y_t-1,y_t-2,...,x₁,x₂,...,x_t)＝f(h_t-1,x_t-1)

其中p(y_t|y_t-1,y_t-2,…,x₁,x₂…,x_t)為t時刻的行為y_t的條件概率，f(h_t-1,x_t-1)為上一個時刻的組件狀態的線性組合；

步驟S8、將x₁,x₂,...,x_t,y₁,y₂,...,y_t-1序列合并成矩陣x_k，則長效遞歸卷積神經網絡中的編碼器和譯碼器組件的學習目標是最大化y_t的條件概率，即為：

其中p_θ(y_i|x_i)為y_i的條件概率；

步驟S9、在不同的訓練集上訓練長效遞歸卷積神經網絡模型，獲取每種特征行為的貢獻率；將測試集中的特征序列輸入到長效遞歸卷積神經網絡模型中，獲得每個行為y_t的最大似然估計，將最大值與預先設定好的行為數據集比對，得到此時最可能的行為f_t。

2.根據權利要求1所述的一種基于改進長效遞歸深度卷積模型的人物動作識別方法，其特征在于，所述步驟S4中將暫態序列y′₁,y′₂,...,y′_n映射成一個值y₁具體方法如下：

步驟S41、選取兩個較大的質數M₁，M₂，和一個基底Base，采用雙Hash的方法對y′₁,y′₂,...,y′_n進行編碼，給序列中的每一位的y′_i賦予兩個權值如下：

P₁[i]＝P₁[i-1]*Base

P₂[i]＝P₂[i-1]*Base

其中P₁[i]是對輸出序列第一次Hash時的位權值，P₂[i]是對輸出序列第二次Hash時的位權值；

步驟S42、構造Hash函數，遍歷暫態序列y′₁,y′₂,...,y′_n，對每一位y′_i，用以下公式構造出兩個Hash值：Hash₁和Hash₂；

Hash₁[i]＝(Hash₁[i-1]*Base+y[i])％M₁

Hash₂[i]＝(Hash₂[i-1]*Base+y[i])％M₂

其中M₁和M₂分別是之前選好的大質數，Base是選好的基底，Hash₁[i]是第一次Hash時輸出序列第i位的Hash值，Hash₂[i]是第二次Hash時的輸出序列第i位的Hash值；將暫態序列y′₁,y′₂,...,y′_n映射成一個值y₁，可得：

y₁＝Hash₁[n]％M₁+Hash₂[n]％M₂。