[發(fā)明專利]基于人體骨架的行為識別方法、系統(tǒng)、裝置及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010552702.6
• 申請日: 2020-06-17
• 公開（公告）號: CN111881731A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 朱佳;邢玉玲;張耀斌
• 申請（專利權(quán)）人: 廣東國鏈科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F17/16
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司 44205
• 代理人: 胡輝

1.一種基于人體骨架的行為識別方法，所述人體骨架包括多個關(guān)節(jié)，其特征在于，所述方法包括以下步驟：

獲取所述人體骨架的時空序列數(shù)據(jù)；所述時空序列數(shù)據(jù)包括所述人體骨架的圖像的連續(xù)幀個數(shù)、每幀所述圖像中所述人體骨架的數(shù)量、所述人體骨架中所述關(guān)節(jié)的數(shù)量和所述關(guān)節(jié)的第一空間坐標；

將所述時空序列數(shù)據(jù)輸入至行為識別模型，得到行為識別結(jié)果；

其中，所述行為識別模型包括第一處理單元、類激活映射單元、第二處理單元和分類單元；所述第一處理單元通過所述類激活映射單元連接至所述第二處理單元，所述第一處理單元和所述第二處理單元連接至所述分類單元；

所述第一處理單元包括第一池化層和若干第一時空卷積算子模塊；所述第二處理單元包括第二池化層和若干第二時空卷積算子模塊；

所述第一時空卷積算子模塊包括依次連接的空間卷積層、第一批標準化層、第一激活層、時間卷積層、第二批標準化層和第二激活層。

2.根據(jù)權(quán)利要求1所述的一種基于人體骨架的行為識別方法，其特征在于，所述方法還包括以下步驟：

根據(jù)相鄰的兩幀所述圖像，提取所述時空序列數(shù)據(jù)的運動特征；

確定所述人體骨架的中心關(guān)節(jié)，并確定每幀所述圖像中各個所述關(guān)節(jié)相對于所述中心關(guān)節(jié)的第二空間坐標；

將所述時空序列數(shù)據(jù)、所述運動特征和所述第二空間坐標融合后輸入所述行為識別模型。

3.根據(jù)權(quán)利要求1所述的一種基于人體骨架的行為識別方法，其特征在于：所述第一處理單元包括三層64輸出通道、三層128輸出通道和三層256輸出通道的所述第一時空卷積算子模塊。

4.根據(jù)權(quán)利要求1所述的一種基于人體骨架的行為識別方法，其特征在于：所述第一池化層為全局平均池化層，所述分類單元采用SoftMax分類器。

5.根據(jù)權(quán)利要求1至4中任一項所述的一種基于人體骨架的行為識別方法，其特征在于：所述第一時空卷積算子模塊還包括Dropout層；

所述第一激活層的輸出連接至所述Dropout層，所述Dropout層的輸出連接至所述時間卷積層。

6.根據(jù)權(quán)利要求1至4中任一項所述的一種基于人體骨架的行為識別方法，其特征在于：所述第一時空卷積算子模塊還包括殘差塊。

7.一種基于人體骨架的行為識別系統(tǒng)，所述人體骨架包括多個關(guān)節(jié)，其特征在于，包括：

獲取模塊，用于獲取所述人體骨架的時空序列數(shù)據(jù)；所述時空序列數(shù)據(jù)包括所述人體骨架的圖像的連續(xù)幀個數(shù)、每幀所述圖像中所述人體骨架的數(shù)量、所述人體骨架中所述關(guān)節(jié)的數(shù)量和所述關(guān)節(jié)的第一空間坐標；

輸入模塊，用于將所述時空序列數(shù)據(jù)輸入至行為識別模型；

輸出模塊，用于輸出行為識別結(jié)果；

其中，所述行為識別模型包括第一處理單元、類激活映射單元、第二處理單元和分類單元；所述第一處理單元通過所述類激活映射單元連接至所述第二處理單元，所述第一處理單元和所述第二處理單元連接至所述分類單元；

所述第一處理單元包括第一池化層和若干第一時空卷積算子模塊；所述第二處理單元包括第二池化層和若干第二時空卷積算子模塊；

所述第一時空卷積算子模塊包括依次連接的空間卷積層、第一批標準化層、第一激活層、時間卷積層、第二批標準化層和第二激活層。

8.一種基于人體骨架的行為識別裝置，其特征在于，包括：

至少一個處理器；

至少一個存儲器，用于存儲至少一個程序；

當所述至少一個程序被所述至少一個處理器執(zhí)行，使得所述至少一個處理器實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質(zhì)，其中存儲有處理器可執(zhí)行的指令，其特征在于：所述處理器可執(zhí)行的指令在由處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。