[發明專利]一種基于注意力感知和樹形骨架點結構的人體行為識別方法和系統

有效

• 申請號: 201811366233.8
• 申請日: 2018-11-16
• 公開（公告）號: CN109614874B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 丁潤偉;劉暢
• 申請（專利權）人: 深圳市感動智能科技有限公司;北京大學深圳研究生院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于注意力感知和樹形骨架點結構的人體行為識別方法，包括以下步驟：

1)輸入訓練集中所有行為樣本的骨架點信息；

2)通過添零補幀使各樣本幀數一致；

3)使用三向樹狀遍歷法則對無序的骨架點進行重構；

4)對重構后得到的特征圖即三向樹遍歷圖的拉普拉斯矩陣進行歸一化處理；

5)構建注意力感知網絡和主體網絡；

6)將注意力感知網絡和主體網絡分層級連接；

7)將步驟4)歸一化處理后的結果分別輸入主體網絡和注意力感知網絡，訓練行為識別網絡模型；

8)利用訓練好的行為識別網絡模型進行行為識別；

其中，步驟3)包括：

3.1)由骨架點集合V，采用深度遍歷法進行遍歷并存儲空間關系為α，用逆深度遍歷法進行遍歷并存儲空間關系為β；

3.2)由步驟1中獲取的骨架點集合V，計算骨架點的自連接關系γ；

3.3)定義骨架結構為包含N個節點的無向樹T＝(V,A)，使用A記錄節點的連接關系，即為鄰接矩陣，從而獲得骨架點的最終空間描述，即三向樹遍歷圖TTTM，定義如下，其中stack即為在新的維度上堆疊三個鄰接矩陣：

TTTM＝stack(A_α,A_β,A_γ)；

其中，步驟5)構建的注意力感知網絡的輸出為三個分別包含網絡低、中、高層次信息的骨架點權重矩陣，該權重矩陣分層級與構建的主體網絡相結合。

2.如權利要求1所述的方法，其特征在于，步驟1)的輸入為原始的骨架序列，沒有任何的數據增強和去噪操作。

3.如權利要求1所述的方法，其特征在于，步驟2)將骨架序列的幀數進行歸一化，均固定為300幀，便于步驟3)中使用三向樹狀遍歷法則對數據進行重構。

4.如權利要求1所述的方法，其特征在于，步驟5)構建的注意力感知網絡，通過模擬人的注意力機制，將注意力網絡作為主體網絡的分支，以有效感知在本行為識別任務中更為關鍵的骨架點，通過賦予骨架點不同的權重，減少弱相關骨架點的干擾，提高行為識別的精度和效率。

5.如權利要求1所述的方法，其特征在于，所述注意力感知網絡是用于生成骨架點權重信息的5層CNN網絡，包括前三個5×5的作用于骨架序列的卷積層Conv，每層分別經過ELU激活函數和步長為3、2、2的pooling操作，后兩個為3×3的卷積層，同樣使用ELU激活函數；所述主體網絡的結構單元包含四個卷積操作，前三個是具有相同結構的并行卷積操作，均包含一個二維卷積層，一個BN層來對神經元做歸一化處理，以及一個ReLU非線性激活函數，最后一個卷積操作還包含一個全局pooling操作來降維整合特征。

6.一種采用權利要求1～5中任一項所述方法的基于注意力感知和樹形骨架點結構的人體行為識別系統，其特征在于，包括：

數據預處理單元，負責輸入訓練集中所有行為樣本的骨架點信息，通過添零補幀使各樣本幀數一致，使用三向樹狀遍歷法則對無序的骨架點進行重構，以及對重構后得到的特征圖的拉普拉斯矩陣進行歸一化處理；

識別網路的構建和訓練單元，負責構建注意力感知網絡和主體網絡，將注意力感知網絡和主體網絡分層級連接，并將重構的特征圖分別輸入主體網絡和注意力感知網絡，訓練行為識別網絡模型；

行為識別單元，負責利用訓練好的行為識別網絡模型進行行為識別。