[發(fā)明專利]基于注意力時間池化圖卷積的骨架動作識別方法

在審

• 申請?zhí)枺?/td>: 202011206214.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112036379A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計）人: 徐行;朱怡燃;沈復(fù)民;申恒濤
• 申請（專利權(quán)）人: 成都考拉悠然科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產(chǎn)權(quán)代理有限公司 51230
• 代理人: 郝迎賓

1.基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，包括如下步驟：

步驟1、選擇數(shù)據(jù)集，并將其劃分為訓練集和測試集；

步驟2、基于訓練集構(gòu)建基于注意力時間池化圖卷積的骨架動作識別模型；

步驟3、對構(gòu)建的基于注意力時間池化圖卷積的骨架動作識別模型進行監(jiān)督式訓練；

步驟4、利用測試集對訓練好的基于注意力時間池化圖卷積的骨架動作識別模型進行驗證；

步驟5、使用驗證后的基于注意力時間池化圖卷積的骨架動作識別模型識別骨架動作。

2.根據(jù)權(quán)利要求1所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，步驟1中，所述數(shù)據(jù)集為NTU-RGBD。

3.根據(jù)權(quán)利要求1或2所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，步驟1中，按照4:1的比例將選擇的數(shù)據(jù)集劃分為訓練集和測試集。

4.根據(jù)權(quán)利要求1所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，步驟3中，所述構(gòu)建的基于注意力時間池化圖卷積的骨架動作識別模型在訓練時，學習率的更新方式設(shè)置為：

；

其中，為初始學習率，為當前迭代次數(shù)，為更新間隔步長，設(shè)置為0.1。

5.根據(jù)權(quán)利要求4所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，步驟3中，所述構(gòu)建的基于注意力時間池化圖卷積的骨架動作識別模型在訓練時，損失函數(shù)設(shè)置為：

；

其中，表示真實動作類別標簽與預(yù)測得到的動作類別標簽的交叉熵損失。

6.根據(jù)權(quán)利要求1所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，步驟4中，所述訓練好的基于注意力時間池化圖卷積的骨架動作識別模型包括特征提取模塊和分類模塊；

所述特征提取模塊，用于融合骨架特征，提取深層特征表示，并輸出至分類模塊；

所述分類模塊，包括堆疊的多個全局平均池化和全連接層，用于當接收到所述深層特征表示時，經(jīng)過全局平均池化，得到每一個視頻的特征融合信息，并利用全連接層進行分類。

7.根據(jù)權(quán)利要求6所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，所述特征提取模塊包括堆疊的9個Block，每一個Block包括空間圖卷積GCN和時間卷積TCN，經(jīng)過堆疊的9個Block，輸入的數(shù)據(jù)特征維度變化情況為：空間通道維度經(jīng)歷了3、64、128、256的加深，時間維度經(jīng)歷了300、150、75、38的放縮。

8.根據(jù)權(quán)利要求7所述的基于注意力時間池化圖卷積的骨架動作識別方法，其特征在于，所述特征提取模塊中堆疊的9個Block采用跳躍連接方式融合特征，用于將輸入和來自特征提取模塊提取的特征融合。