[發(fā)明專利]一種基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210246685.2
• 申請日: 2022-03-14
• 公開（公告）號(hào): CN114582023A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 馬昕;田皓宇;李貽斌
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06K9/62;G06N3/04;G06N3/08;G06V10/44;G06V10/764;G06V10/82
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.一種基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，包括：

以下肢關(guān)節(jié)為節(jié)點(diǎn)，以骨骼為邊構(gòu)造步態(tài)圖；

根據(jù)距離和空間關(guān)系對步態(tài)圖中的相鄰節(jié)點(diǎn)進(jìn)行分組，將非歐結(jié)構(gòu)的步態(tài)圖規(guī)范化為歐幾里德特征圖；其中，節(jié)點(diǎn)的位置關(guān)系編碼了關(guān)節(jié)之間的連接性；

采用廣義卷積網(wǎng)絡(luò)來建模規(guī)范化歐幾里德特征圖中編碼的幾何特征，將卷積核從圖像中提取紋理表示的能力泛化到提取步態(tài)圖幾何特征中，得到時(shí)空鄰居節(jié)點(diǎn)特征聚合的步態(tài)特征圖；

根據(jù)步態(tài)特征圖，預(yù)測異常步態(tài)分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，所述根據(jù)距離和空間關(guān)系對步態(tài)圖中的相鄰節(jié)點(diǎn)進(jìn)行分組具體包括：根據(jù)設(shè)定的空間感知域?qū)⒉綉B(tài)圖中的鄰居節(jié)點(diǎn)劃分為一定數(shù)量的子集，以使步態(tài)圖劃分為一定數(shù)量的子圖。

3.根據(jù)權(quán)利要求2所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，將步態(tài)圖的鄰接矩陣也劃分為一定數(shù)量的子矩陣。

4.根據(jù)權(quán)利要求1所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，所述將卷積核從圖像中提取紋理表示的能力泛化到提取步態(tài)圖幾何特征中具體包括：通過在規(guī)范化的步態(tài)圖上沿時(shí)空同步維度滑動(dòng)卷積核來建模骨架節(jié)點(diǎn)的時(shí)空依賴性，以達(dá)到將卷積核提取圖像紋理特征的能力泛化到步態(tài)圖上的目的。

5.根據(jù)權(quán)利要求4所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，所述通過在規(guī)范化的步態(tài)圖上沿時(shí)空同步維度滑動(dòng)卷積核來建模骨架節(jié)點(diǎn)的時(shí)空依賴性具體包括：通過在規(guī)范化的步態(tài)圖上滑動(dòng)空間同步卷積核來構(gòu)建骨架節(jié)點(diǎn)的空間依賴性，通過在規(guī)范化的步態(tài)圖上滑動(dòng)時(shí)間同步卷積核來構(gòu)建骨架節(jié)點(diǎn)的時(shí)間依賴性。

6.根據(jù)權(quán)利要求1所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，所述鄰居節(jié)點(diǎn)特征聚合等價(jià)與具有隨機(jī)游走規(guī)范化鄰接矩陣的圖卷積：

其中，TCN是時(shí)間卷積，是規(guī)范化的l層的步態(tài)特征圖，Spatial-CNN是空間卷積網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求1所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法，其特征在于，所述根據(jù)步態(tài)特征圖，預(yù)測異常步態(tài)分類結(jié)果具體包括：將步態(tài)特征圖依次輸入全局平均池化層、全連接層和Soft max函數(shù)，得到異常步態(tài)分類結(jié)果。

8.一種基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別系統(tǒng)，其特征在于，包括：

圖構(gòu)建模塊，其被配置為：以下肢關(guān)節(jié)為節(jié)點(diǎn)，以骨骼為邊構(gòu)造步態(tài)圖；

規(guī)范化模塊，其被配置為：根據(jù)距離和空間關(guān)系對步態(tài)圖中的相鄰節(jié)點(diǎn)進(jìn)行分組，將非歐結(jié)構(gòu)的步態(tài)圖規(guī)范化為歐幾里德特征圖；其中，節(jié)點(diǎn)的位置關(guān)系編碼了關(guān)節(jié)之間的連接性；

建模模塊，其被配置為：采用廣義卷積網(wǎng)絡(luò)來建模規(guī)范化歐幾里德特征圖中編碼的幾何特征，將卷積核從圖像中提取紋理表示的能力泛化到提取步態(tài)圖幾何特征中，得到時(shí)空鄰居節(jié)點(diǎn)特征聚合的步態(tài)特征圖；

預(yù)測模塊，其被配置為：根據(jù)步態(tài)特征圖，預(yù)測異常步態(tài)分類結(jié)果。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法中的步驟。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于廣義卷積神經(jīng)網(wǎng)絡(luò)的骨架異常步態(tài)識(shí)別方法中的步驟。