[發(fā)明專利]一種基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911315237.8
• 申請(qǐng)日: 2019-12-19
• 公開（公告）號(hào): CN111104902B
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計(jì)）人: 鄭偉詩;陳禹亙
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/774;G06V10/82;G06V10/764;G06N3/0455
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，包括下述步驟：

S1、獲取待分析的步態(tài)數(shù)據(jù)，對(duì)該步態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；

S2、基于圖卷積網(wǎng)絡(luò)構(gòu)建檢測(cè)網(wǎng)絡(luò)模型，并訓(xùn)練該網(wǎng)絡(luò)模型；

建立圖卷積網(wǎng)絡(luò)包括：

特征鄰接矩陣，將輸入圖像中有聯(lián)系的特征點(diǎn)連接起來；

建立步態(tài)圖，直接跟步態(tài)數(shù)據(jù)進(jìn)行矩陣相乘；

建立好步態(tài)圖以后，對(duì)每一個(gè)節(jié)點(diǎn)初始化權(quán)重W，對(duì)于每一個(gè)輸入的矩陣H，將矩陣H、圖卷積網(wǎng)絡(luò)G、初始化權(quán)重W進(jìn)行相乘，即可得到每一個(gè)節(jié)點(diǎn)的特征，在這個(gè)過程中，圖卷積利用了關(guān)節(jié)點(diǎn)間的連接信息，能夠更好地提取特征，最后得到特征圖；

訓(xùn)練網(wǎng)絡(luò)模型的步驟如下：

將步態(tài)數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，獲取分類結(jié)果后計(jì)算結(jié)果與真實(shí)值的差距，使用隨機(jī)梯度下降和反向傳播的方法調(diào)整網(wǎng)絡(luò)參數(shù)，逐步縮小檢測(cè)值與真實(shí)值的差距；

S3、將步態(tài)數(shù)據(jù)按關(guān)節(jié)點(diǎn)結(jié)構(gòu)輸入訓(xùn)練好的模型中，得到最后一層的卷積結(jié)果；

S4、獲取最后一層的卷積結(jié)果，按特征權(quán)重比進(jìn)行縮放；

S5、根據(jù)得到的特征縮放結(jié)果，在全連接層中進(jìn)行計(jì)算，分別得到目標(biāo)是健康人和是偏癱患者的得分。

2.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S1中，對(duì)該步態(tài)數(shù)據(jù)進(jìn)行預(yù)處理是將數(shù)據(jù)缺失值補(bǔ)全，采用下述公式：

Data_empty＝1/m∑Data_i

其中，m是每一個(gè)人的步態(tài)周期數(shù)量，Data_i是第i個(gè)步態(tài)周期數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S2中，在特征鄰接矩陣中，矩陣的每一行代表一類特征，每一列代表一個(gè)特定的幀。

4.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S2中，建立步態(tài)圖的步驟中，D表示degree matrix度矩陣，每一個(gè)點(diǎn)D(i，i)代表有多少個(gè)點(diǎn)和該點(diǎn)有連接，為了消除近處節(jié)點(diǎn)的影響過大，遠(yuǎn)處節(jié)點(diǎn)過小的問題，步態(tài)圖的建立需要先將鄰接矩陣進(jìn)行歸一化操作，即：

其中，為A添加自環(huán)后的結(jié)果，使得節(jié)點(diǎn)本身和鄰接節(jié)點(diǎn)對(duì)自身的影響保持一致。

5.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S2中，在圖卷積的操作過程中，計(jì)算公式為：

其中，σ(·)為激活函數(shù)，這里指Relu；H為輸入矩陣，W為權(quán)重因子，為按關(guān)節(jié)點(diǎn)和步態(tài)數(shù)據(jù)建的圖，A為G的鄰接矩陣，L為該圖卷積網(wǎng)絡(luò)的層數(shù)，輸入H，即可得到對(duì)應(yīng)的特征值。

6.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S2中，使用損失函數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，定義如下：

其中，x表示樣本，y表示預(yù)測(cè)的輸出，a表示實(shí)際的輸出，n表示樣本總數(shù)量。

7.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S3具體為：

將輸入特征進(jìn)行初步歸一化，即將其使用減去總體均值，再放進(jìn)訓(xùn)練好的模型中，輸入的特征圖H將進(jìn)入G₂步態(tài)圖中，和G₁中的W、相乘，得到第一層的特征圖H₁，再對(duì)特征圖放進(jìn)Relu激活函數(shù)中，即將特征圖中的負(fù)值置0，使得整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)變成非線性結(jié)構(gòu)，增加了模型的擬合能力，H1出來以后再放進(jìn)另一個(gè)步態(tài)模塊G₂中，同理經(jīng)過W、ReLu后，得到最后的特征圖H₂，該特征即為最后一層的卷積結(jié)果。

8.根據(jù)權(quán)利要求1所述基于圖卷積網(wǎng)絡(luò)的偏癱步態(tài)分類方法，其特征在于，步驟S4中，包括下述步驟：

S41、使用SVM對(duì)每一項(xiàng)步態(tài)特征進(jìn)行粗分類，得到每一項(xiàng)特征的準(zhǔn)確率，SVM公式為：

s.t.y_i(w^Tx_i+b)≥1，i＝1，2，...，m.

其中，w為權(quán)重因子，b為偏置項(xiàng)，用于計(jì)算；yi為分類結(jié)果，二分類中只取0,1；x_i為輸入的步態(tài)數(shù)據(jù)，i代表第i項(xiàng)數(shù)據(jù)；

S42、在全連接層中，對(duì)所有節(jié)點(diǎn)進(jìn)行重新排列，并通過全連接網(wǎng)絡(luò)輸出最終分類結(jié)果。