[發(fā)明專利]一種基于骨骼和RGB幀融合的行為識(shí)別方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110242365.5
• 申請(qǐng)日: 2021-03-03
• 公開(kāi)（公告）號(hào): CN112906604A
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 黃煒;顏天信
• 申請(qǐng)（專利權(quán)）人: 安徽省科億信息科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T17/00
• 代理公司: 合肥律眾知識(shí)產(chǎn)權(quán)代理有限公司 34147
• 代理人: 趙娟

1.一種基于骨骼和RGB幀融合的行為識(shí)別方法，其特征在于，構(gòu)建基于骨骼和RGB幀融合的行為識(shí)別網(wǎng)絡(luò)，通過(guò)該行為識(shí)別網(wǎng)絡(luò)進(jìn)行行為識(shí)別，行為識(shí)別網(wǎng)絡(luò)構(gòu)建，包括如下步驟：

S1，利用RGB相機(jī)獲取行為動(dòng)作的RGB數(shù)據(jù)，利用深度相機(jī)獲取3D骨骼數(shù)據(jù)，構(gòu)建行為識(shí)別數(shù)據(jù)集；

S2，對(duì)行為識(shí)別數(shù)據(jù)集進(jìn)行預(yù)處理；

S3，通過(guò)神經(jīng)網(wǎng)絡(luò)分別提取RGB數(shù)據(jù)和3D骨骼數(shù)據(jù)的數(shù)據(jù)特征；

S4，搭建骨骼和RGB幀在特征層面交互的神經(jīng)網(wǎng)絡(luò)；

S5，利用訓(xùn)練集訓(xùn)練該神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)優(yōu)化參數(shù)，得到基于骨骼和RGB幀融合的行為識(shí)別網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的基于骨骼和RGB幀融合的行為識(shí)別方法，其特征在于，所述步驟S3中，利用時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)ST-GCN提取3D骨骼數(shù)據(jù)特征x_skeleton，尺寸為(N，C，T，V)，其中N代表一個(gè)批量的大小，C代表特征通道的數(shù)目，T代表時(shí)間幀的數(shù)目，V代表骨骼關(guān)節(jié)點(diǎn)的數(shù)目；利用輕量級(jí)GhostNet提取RGB幀數(shù)據(jù)特征x_rgb，尺寸為(N，C，H，W)，其中N代表一個(gè)批量的大小，C代表特征通道的數(shù)目，H代表圖像的高度，W代表圖像的寬度。

3.根據(jù)權(quán)利要求1所述的基于骨骼和RGB幀融合的行為識(shí)別方法，其特征在于，所述步驟S4中的骨骼和RGB幀在特征層面交互的神經(jīng)網(wǎng)絡(luò)的搭建包括如下步驟：

S41，將x_skeleton的尺寸轉(zhuǎn)換為與x_rgb一致的尺寸，得到尺寸(N，C，H，W)的3D骨骼數(shù)據(jù)特征x_skeleton_att；

S42，對(duì)x_skeleton_att和x_rgb進(jìn)行哈達(dá)瑪積運(yùn)算，實(shí)現(xiàn)RGB幀數(shù)據(jù)特征的校正，得到校正后的RGB幀數(shù)據(jù)特征x_rgb_new，x_rgb_new經(jīng)過(guò)全局平均池化層，得到尺寸(N，C)的RGB幀數(shù)據(jù)特征，再經(jīng)過(guò)全連接層，得到尺寸(N，C1)的RGB幀輸出；

S43，將x_rgb的尺寸轉(zhuǎn)換為與x_skeleton一致的尺寸，得到尺寸(N，C，T，V)的RGB幀數(shù)據(jù)特征x_rgb_att；

S44，對(duì)x_skeleton和x_rgb_att進(jìn)行哈達(dá)瑪積運(yùn)算，實(shí)現(xiàn)3D骨骼數(shù)據(jù)特征的校正，得到校正后的3D骨骼數(shù)據(jù)特征x_skeleton_new；x_skeleton_new經(jīng)過(guò)全局平均池化層，得到尺寸(N，C)的3D骨骼數(shù)據(jù)特征，再經(jīng)過(guò)全連接層，得到尺寸(N，C1)的骨骼輸出；

S45，將尺寸同為(N，C)的RBG幀數(shù)據(jù)特征和3D骨骼數(shù)據(jù)特征(N，C)拼接，再經(jīng)過(guò)1*1的卷積層，得到尺寸(N，C1)的融合輸出。

4.根據(jù)權(quán)利要求3所述的基于骨骼和RGB幀融合的行為識(shí)別方法，其特征在于，所述步驟S41中，將x_skeleton的尺寸轉(zhuǎn)換為與x_rgb一致的尺寸，得到尺寸(N，C，H，W)的3D骨骼數(shù)據(jù)特征x_skeleton_att，具體轉(zhuǎn)換為：x_skeleton首先經(jīng)過(guò)一個(gè)全局平均池化層把T和V這兩個(gè)維度進(jìn)行壓縮，大小變?yōu)?N，C，1，1)；然后經(jīng)過(guò)一個(gè)1*1的卷積層尺寸仍為(N，C，1，1)；接下來(lái)，用sigmoid激活函數(shù)把每個(gè)值限制在0到1之間得到x_skeleton_att，并通過(guò)復(fù)制，得到尺寸為(N，C，H，W)。

5.根據(jù)權(quán)利要求3所述的基于骨骼和RGB幀融合的行為識(shí)別方法，其特征在于，所述步驟S43中，將x_rgb的尺寸轉(zhuǎn)換為與x_skeleton一致的尺寸，得到尺寸(N，C，T，V)的RGB幀數(shù)據(jù)特征x_rgb_att，具體轉(zhuǎn)換為：首先，通過(guò)維度置換將x_rgb_new的維度變換為(N，H*W，C，1)；然后，經(jīng)過(guò)一個(gè)1*1的卷積層，維度變?yōu)?N，V，C，1)；之后再進(jìn)行一次維度置換，得到的交換維度的順序?yàn)?N，C，1，V)，用sigmoid激活函數(shù)把每個(gè)值限制在0到1之間得到x_rgb_att，并通過(guò)復(fù)制，得到的尺寸為(N，C，T，V)。