[發明專利]基于多流LSTM的動作識別方法

有效

• 申請號: 201711043801.6
• 申請日: 2017-10-31
• 公開（公告）號: CN107679522B
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 韓云;呂小英
• 申請（專利權）人: 內江師范學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 徐金瓊;劉東

1.基于多流LSTM的動作識別方法，其特征在于：包括以下步驟：

步驟1：利用深度相機對人體骨架關節點的坐標數據進行采集，得到由所述關節點表示的動作序列；

步驟2：對所述動作序列進行視角預處理，并利用特征提取模型A對視角預處理結果進行特征提取；

步驟3：對所述動作序列進行動態屬性萃取，并利用特征提取模型B對動態屬性萃取結果進行特征提取；

步驟4：利用特征提取模型C分別對所述視角預處理結果和動態屬性萃取結果進行特征提取，并對提取的特征進行特征融合；

步驟5：分別利用所述步驟2和步驟3提取的特征以及步驟4中融合的特征進行動作識別；

步驟6：對所述步驟5得到的識別結果進行決策融合，最終得到動作的識別結果；

所述步驟2具體為：

S201：利用人體骨架關節點的坐標數據得到旋轉矩陣，所述旋轉矩陣公式如下：

R^c'^→h(t)＝[s₁ s₂ s₃]^T (1),

其中，

s₃＝s₁×s₂ (3)；

t表示時間變量，h表示人體骨架坐標系，c表示相機坐標系，c'表示中間坐標系，表示以相機坐標系為基準的人體左肩在t時刻的3D坐標，表示以相機坐標系為基準的人體右肩在t時刻的3D坐標，表示以相機坐標系為基準的人體軀心在t時刻的3D坐標；

S202：計算每個關節點的3D坐標獲得視角預處理結果，

其中，k表示人體關節點的序號，表示以骨架坐標系為基準的人體第k個關節點在時間t的3D坐標，表示以相機坐標系為基準的人體關節點k在t時刻的3D坐標；

S203：利用特征提取模型A提取步驟S202中視角預處理結果的特征；

所述步驟3具體為：

S301：對所述動作序列進行動態屬性萃取，動態屬性萃取為追蹤每個關節點在兩個固定時間間隔d間的位置變化信息，獲得萃取結果f(t+d)-f(t) (6)，其中，d表示固定時間間隔，f(t)表示在t時刻人體關節點的3D坐標；

S302：利用特征提取模型B提取步驟S301中動態屬性萃取結果的特征。

2.根據權利要求1所述的基于多流LSTM的動作識別方法，其特征在于：所述特征提取模型A、特征提取模型B、特征提取模型C的獲取方法如下：

S001：利用深度相機采集人體骨架關節點的坐標數據，得到訓練樣本；

S002：對所述訓練樣本進行視角預處理，以視角預處理結果為輸入，構建三層LSTM網絡，并對所述三層LSTM網絡進行訓練，得到特征提取模型A；

S003：對所述訓練樣本進行動態屬性萃取，以動態屬性萃取結果為輸入，構建三層LSTM網絡，并對所述三層LSTM網絡進行訓練，得到特征提取模型B；

S004：以視角預處理結果為輸入，構建三層LSTM網絡；以動態屬性萃取結果為輸入，構建三層LSTM網絡；構建融合該步驟中兩個三層LSTM網絡輸出特征的特征融合框架；對該步驟中的兩個三層LSTM網絡和特征融合框架進行聯合訓練，得到特征提取模型C。

3.根據權利要求1所述的基于多流LSTM的動作識別方法，其特征在于：所述步驟4的具體內容如下：

S401：利用特征模型C分別對步驟2的視角預處理結果和步驟3的動態屬性萃取結果進行特征提取；

S402：對步驟S401提取的特征進行特征融合，特征融合采用的公式如下：

其中，L代表融合輸出的特征數量，或表示加成權重，M×L表示加成權重α的大小，N×L表示加成權重β的大小，a_m和b_n分別表示需要融合的兩類特征，m∈(1,M)，n∈(1,N)分別表示需要融合的兩類特征的維度，C_L表示特征融合后得到的特征。

4.根據權利要求1所述的基于多流LSTM的動作識別方法，其特征在于：所述步驟5中動作識別具體為：將步驟2提取的特征、步驟3提取的特征和步驟4融合的特征分別依次輸入各自的全連接層和softmax進行動作識別。

5.根據權利要求1所述的基于多流LSTM的動作識別方法，其特征在于：所述步驟6中決策融合具體為：將所述步驟5得到的3個識別結果進行連乘，連乘結果所代表的類型就是最終動作識別的結果。