[發(fā)明專利]一種基于注意力感知和樹形骨架點結(jié)構(gòu)的人體行為識別方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811366233.8
• 申請日: 2018-11-16
• 公開（公告）號: CN109614874B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 丁潤偉;劉暢
• 申請（專利權(quán)）人: 深圳市感動智能科技有限公司;北京大學深圳研究生院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

本發(fā)明公開一種基于注意力感知和樹形骨架點結(jié)構(gòu)的人體行為識別方法和系統(tǒng)。該方法包括：1)輸入訓練集中所有行為樣本的骨架點信息；2)通過添零補幀使各樣本幀數(shù)一致；3)使用三向樹狀遍歷法則對無序的骨架點進行重構(gòu)；4)對重構(gòu)后得到的特征圖的拉普拉斯矩陣進行歸一化處理；5)構(gòu)建注意力感知網(wǎng)絡(luò)和主體網(wǎng)絡(luò)；6)將注意力感知網(wǎng)絡(luò)和主體網(wǎng)絡(luò)分層級連接；7)將重構(gòu)的特征圖分別輸入主體網(wǎng)絡(luò)和注意力感知網(wǎng)絡(luò)，訓練行為識別網(wǎng)絡(luò)模型；8)利用訓練好的行為識別網(wǎng)絡(luò)模型進行行為識別。本發(fā)明能夠顯著提高行為識別的精度和效率。

技術(shù)領(lǐng)域

本發(fā)明屬于機器人視覺技術(shù)和人機交互領(lǐng)域，具體涉及一種基于注意力感知和樹形骨架點結(jié)構(gòu)的人體行為識別方法和系統(tǒng)；通過對無序的骨架點進行樹形重構(gòu)來更好的描述表達行為模式，并利用注意力網(wǎng)絡(luò)對不同骨架點的重要性進行描述，為人體行為的分類提供合適的先驗條件，可近一步減少人體行為識別的分類處理時間和提高后期行為識別的精度。

背景技術(shù)

行為識別是隸屬于行為分析這一領(lǐng)域，針對給定包含某種運動的視頻序列，按運動的類別給該視頻序列加標簽，可以被應(yīng)用于人機交互、智能監(jiān)控和視頻分析等方面。然而，基于RGB的視頻序列的人體行為識別算法性能仍然受限，人體遮擋、相機晃動、視角變換等都會帶來很大的干擾和噪聲。因此，選用骨架序列等深度數(shù)據(jù)可以避免這些問題，提高行為識別的精度和速度。

現(xiàn)有的一類方法(Sijie?Yan,Yuanjun?Xiong,and?Dahua?Lin.“Spatialtemporal?graph?convolutional?networks?for?skeleton-based?action?recognition,”in?Association?for?the?Advance?of?Artificial?Intelligence(AAAI),2018.)的基礎(chǔ)是時空圖結(jié)構(gòu)，從骨架關(guān)鍵點序列構(gòu)建時空圖，在按照既定規(guī)則得到的時空圖保留了骨架關(guān)鍵點的空間信息，并使得關(guān)鍵點的運動軌跡以時序邊的形式得到表現(xiàn)。但是該方法默認所有的骨架點具有同樣的重要性，這并不符合人類在區(qū)分不同行為時的經(jīng)驗認知。另一種方式(S.Song,C.Lan,J.Xing,W.Zeng,and?J.Liu.“An?end-to-end?spatio-temporalattention?model?for?human?action?recognition?from?skeleton?data.”inAssociation?for?the?Advance?of?Artificial?Intelligence(AAAI),2017.)使用了LSTM作為注意力網(wǎng)絡(luò)，獲取不同骨架點的關(guān)鍵性信息。然而基于LSTM結(jié)構(gòu)的網(wǎng)絡(luò)復(fù)雜度較高，加上該注意力機制后的網(wǎng)絡(luò)雖然檢測精度有所提升，但是其算法效率低，不便之后的維護改進，也不適合應(yīng)用于實際的場景。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明的目的是提供一種基于注意力感知和樹形骨架點結(jié)構(gòu)的人體行為識別方法和系統(tǒng)，首先對無序的骨架點進行樹形重構(gòu)，然后利用注意力網(wǎng)絡(luò)對不同骨架點的重要性進行描述，可以進一步提高行為識別的精度和速度。

本發(fā)明采用的技術(shù)方案如下：

一種基于注意力感知和樹形骨架點結(jié)構(gòu)的人體行為識別方法，包括以下步驟：

1)輸入訓練集中所有行為樣本的骨架點信息(三維坐標)；

2)進行數(shù)據(jù)預(yù)處理，通過添零補幀使各樣本的幀數(shù)一致；

3)基于三向樹狀遍歷法則對無序的骨架點進行重構(gòu)，重構(gòu)后得到的特征圖作為新的數(shù)據(jù)源；

4)對構(gòu)建的特征圖的拉普拉斯矩陣進行歸一化處理；

5)構(gòu)建注意力感知網(wǎng)絡(luò)和主體網(wǎng)絡(luò)；

6)將注意力感知網(wǎng)絡(luò)和主體網(wǎng)絡(luò)分層級連接；

7)將重構(gòu)的特征圖分別輸入主體網(wǎng)絡(luò)和注意力感知網(wǎng)絡(luò)，并進行訓練，得到訓練好的行為識別網(wǎng)絡(luò)模型；