[發(fā)明專利]基于多流LSTM的動作識別方法

有效

• 申請?zhí)枺?/td>: 201711043801.6
• 申請日: 2017-10-31
• 公開（公告）號: CN107679522B
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計）人: 韓云;呂小英
• 申請（專利權(quán)）人: 內(nèi)江師范學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產(chǎn)權(quán)代理有限公司 51230
• 代理人: 徐金瓊;劉東

本發(fā)明公開了基于多流LSTM的動作識別方法；獲取由關(guān)節(jié)點表示的人體動作序列；對所述動作序列進行視角預(yù)處理，并對視角預(yù)處理結(jié)果進行特征提取；對所述動作序列進行動態(tài)屬性萃取，并對動態(tài)屬性萃取結(jié)果進行特征提取；分別對所述視角預(yù)處理結(jié)果和動態(tài)屬性萃取結(jié)果進行特征提取，并對提取的特征進行特征融合；分別利用提取的特征以及融合的特征進行動作識別；再對識別結(jié)果進行決策融合，最終得到動作的識別結(jié)果；本發(fā)明整合了動作序列的空間特性和時間特性，融合了動作的靜態(tài)特性和動態(tài)特性，動作識別的精度高，穩(wěn)定性好，所需的訓(xùn)練數(shù)據(jù)少，收斂性速度快，適合處理復(fù)雜的動作類型。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻圖像處理領(lǐng)域，具體涉及一種基于多流LSTM的動作識別方法，用于對動作進行識別。

背景技術(shù)

目前，動作識別方法可分為兩類：一類是以傳統(tǒng)機器學(xué)習(xí)為基礎(chǔ)的方法，該類方法的核心是人工構(gòu)建出描述動作屬性的特征，然后訓(xùn)練分類器，最后進行動作分類；另一類是基于深度學(xué)習(xí)的方法，該類方法以目標為導(dǎo)向，通過數(shù)據(jù)訓(xùn)練，自動學(xué)習(xí)特征，往往具有更好的區(qū)分性。

傳統(tǒng)動作識別方法的主要缺點是必須人工構(gòu)建動作特征，且無法保證特征的區(qū)分效果。

目前，動作識別基于深度學(xué)習(xí)的方法主要有兩類：一類是以RGB信息為輸入，采用CNN(卷積神經(jīng)網(wǎng)絡(luò))構(gòu)架的方法；另一類主要以深度相機獲取的人體骨架關(guān)節(jié)點數(shù)據(jù)為輸入，采用基于LSTM(長短期記憶)的RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))架構(gòu)的方法。

基于深度學(xué)習(xí)的方法，訓(xùn)練模型所需的數(shù)據(jù)量較大，而實際可用的數(shù)據(jù)往往較少；基于CNN的方法主要獲取動作的靜態(tài)特性，無法獲取動作的時序特性；基于LSTM的方法雖獲取了動作的時序特性，但無法萃取肢體變化所帶來的動態(tài)特性，而動態(tài)特性在動作識別中具有重要的作用；動作的靜態(tài)特性和動態(tài)特性在動作識別上各自具有優(yōu)勢和局限，目前采用的方法無法有效整合這兩類特性，導(dǎo)致動作識別效率低、識別效果差。

發(fā)明內(nèi)容

本發(fā)明的目的在于：提供一種基于多流LSTM的動作識別方法，解決了無法有效整合動作的靜態(tài)特性和動態(tài)特性導(dǎo)致動作識別效率低、識別效果差的技術(shù)問題。

本發(fā)明采用的技術(shù)方案如下：

基于多流LSTM的動作識別方法，包括以下步驟：

步驟1：利用深度相機對人體骨架關(guān)節(jié)點的坐標數(shù)據(jù)進行采集，得到由所述關(guān)節(jié)點表示的動作序列；

步驟2：對所述動作序列進行視角預(yù)處理，并利用特征提取模型A對視角預(yù)處理結(jié)果進行特征提取；

步驟3：對所述動作序列進行動態(tài)屬性萃取，并利用特征提取模型B對動態(tài)屬性萃取結(jié)果進行特征提取；

步驟4：利用特征提取模型C分別對所述視角預(yù)處理結(jié)果和動態(tài)屬性萃取結(jié)果進行特征提取，并對提取的特征進行特征融合；

步驟5：分別利用所述步驟2和步驟3提取的特征以及步驟4中融合的特征進行動作識別；

步驟6：對所述步驟5得到的識別結(jié)果進行決策融合，最終得到動作的識別結(jié)果。

進一步的，所述特征提取模型A、特征提取模型B、特征提取模型C的獲取方法如下：

S001：利用深度相機采集人體骨架關(guān)節(jié)點的坐標數(shù)據(jù)，得到訓(xùn)練樣本；

S002：對所述訓(xùn)練樣本進行視角預(yù)處理，以視角預(yù)處理結(jié)果為輸入，構(gòu)建三層LSTM網(wǎng)絡(luò)，并對所述三層LSTM網(wǎng)絡(luò)進行訓(xùn)練，得到特征提取模型A；

S003：對所述訓(xùn)練樣本進行動態(tài)屬性萃取，以動態(tài)屬性萃取結(jié)果為輸入，構(gòu)建三層LSTM網(wǎng)絡(luò)，并對所述三層LSTM網(wǎng)絡(luò)進行訓(xùn)練，得到特征提取模型B；