[發明專利]一種基于密集連接卷積神經網絡的人體運動狀態判別方法

有效

• 申請號: 201910281057.6
• 申請日: 2019-04-09
• 公開（公告）號: CN110334573B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 張斌;劉宇;李陽
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金恒聯合知識產權代理事務所 11324
• 代理人: 李強

1.基于密集連接卷積神經網絡的運動狀態判別方法，其特征在于包括：

A)進行步態數據采集，包括采用足底壓力分析系統和慣性傳感器相結合的方式進行數據采集，數據采集所借助的工具包括：

根據被試的鞋碼大小剪裁足底壓力分析系統的測量鞋墊，

腰上慣性傳感器，其x、y、z軸正方向依次為上、左、右，

左腿上的慣性傳感器，其x、y、z軸正方向依次為上、前、左，

右腿上的慣性傳感器，其x、y、z軸正方向依次為上、后、右，

采集過程包括：

室內直行，記錄被試者直行預定距離所需的時間，

左轉向，其中被試者繞一定半徑的圓連續左轉預定時間，

右轉向，其中被試者繞上述圓連續右轉預定時間，

爬樓梯，其中被試者爬樓梯預定高度后不停歇回到出發點，記錄全程時間,

并進行步態時相標記，包括由足底壓力分析系統得到的地面垂直支反力曲線得到步態支撐相和擺動相的劃分，作為運動時相劃分的分類標記，

B)進行特征選擇，包括通過訓練決策樹模型進行特征選擇，其中：

在建立決策樹時，先利用包括信息熵的原則，選取能優化分類效果的特征，優先建立決策樹，

對通過決策樹得到的特征重要性進行排序，基于步態對稱性，通過比較腰上和右小腿上的慣性傳感器的所得特征，進行特征選擇，

對腰上的六軸數據進行特征重要性排序，

對右小腿上的六軸數據進行重要性排序，

選擇左右小腿的角速度z軸、角速度y軸和加速度z軸共6個通道的特征作為密集連接卷積神經網絡的輸入，輸出對應預測分類，其中該6個通道的動力學時間序列被截成固定長度的序列作為輸入，

C)訓練密集連接卷積神經網絡：

所述密集連接卷積神經網絡包括：

(1)輸入層，其中:

用sklearn庫中preprocessing模塊的scale函數，將輸入的6個通道數據沿時間方向歸一化，使其均值為0、方差為1；

將預處理后的輸入截取成固定長度的事件，每一事件分配和所屬原始輸入一樣的分類標簽，最終輸入的數據形式為n*6*200*1,對應樣本數*通道數*采樣點數*1；

為實現跨通道的交互和信息整合、增加非線性特性，進行卷積核大小1*1的卷積，步長為1，得到45張特征圖，公式如下：

其中表示第l層的第j張特征圖，表示第l層中連接l-1層中第i張特征圖和第l層中第j張特征圖的卷積核，M_j表示l-1層特征圖的集合，代表卷積運算；

為便于第二層的時間卷積，將輸出特征圖進行三維轉置，此時輸出大小為n*1*200*45；

(2)第二層，包括時間卷積層和空間卷積層兩部分,其中：

時間卷積中，卷積核大小11*1，步長為1，輸出25張特征圖，公式如下：

其中表示第l層的第j張特征圖，表示第l層中連接l-1層中第i張特征圖和第l層中第j張特征圖的卷積核，M_j表示l-1層特征圖的集合，代表卷積運算；

空間卷積中，卷積核大小1*45，步長為1*1，在經過ReLU激活函數后進入池化層，池化大小為3*1，步長為3*1，采用maxpooling，即在相鄰3個像素中選取最大值作為輸出，最終輸出25張特征圖，公式如下：

其中表示第l層的第j張特征圖，表示第l層中連接l-1層中第i張特征圖和第l層中第j張特征圖的卷積核，M_j表示l-1層特征圖的集合，代表卷積運算；max(x)表示maxpooling，f()表示ReLU激活函數，即f(x)＝max(0,x),表示第l層的偏置；

(3)第三層,

在該層中先后通過卷積核大小為1*1、步長1*1的卷積輸出100張特征圖、ReLU激活函數、卷積核大小為7*1、步長1*1的卷積輸出50張特征圖、ReLU激活函數后，進入池化層，仍采用maxpooling，池化大小為3*1、步長3*1，公式如下：

其中表示第l層的第j張特征圖，表示第l層中連接l-1層中第i張特征圖和第l層中第j張特征圖的卷積核，表示第l層中連接l層中第j張特征圖和第l+1層中第q張特征圖的卷積核，M_j表示l-1層特征圖的集合，M_q表示l-1層特征圖的集合，代表卷積運算；max(x)表示maxpooling，f()表示ReLU激活函數，即f(x)＝max(0,x),表示第l+1層的偏置；

該層的最后，將該層的原始輸入25張特征圖和最終輸出的50張特征圖進行連接，輸出75張特征圖；

(4)第四層

第四層和第三層類似，先后通過卷積核大小為1*1、步長1*1的卷積輸出200張特征圖、ReLU激活函數、卷積核大小為7*1、步長1*1的卷積輸出100張特征圖、ReLU激活函數后，進入池化層，仍采用maxpooling，池化大小為3*1、步長3*1，該層的最后，同樣將該層的原始輸入75張特征圖和最終輸出的100張特征圖進行連接，輸出175張特征圖；

(5)第五層，

該層中卷積核大小3*1，步長為1*1，在經過ReLU激活函數后進入池化層，池化大小為3*1，步長為3*1，采用maxpooling，最終輸出4張特征圖，公式如下：

其中表示第l層的第j張特征圖，表示第l層中連接l-1層中第i張特征圖和第l層中第j張特征圖的卷積核，M_j表示l-1層特征圖的集合，代表卷積運算；max(x)表示maxpooling，f()表示ReLU激活函數，即f(x)＝max(0,x),表示第l層的偏置；

(6)第六層

該層將上層輸出展開為一維數據，標簽有三類，所以輸出層有三個神經元，輸出結果為輸入數據屬于各個類別的概率值，

其中：

所述訓練包括采用平方誤差函數作為損失函數計算預測值與標簽的誤差，不斷通過反向傳播與隨機梯度下降算法更新網絡中每一層的參數，直至準確率開始下降，或大于1000次，停止訓練，并保存模型，

D)測試密集連接卷積神經網絡，包括：

判別包括直行、左轉、右轉的單人多任務的運動狀態，運動狀態包括直行、左轉、右轉，

使用所得數據集進行單人多任務的運動狀態判別測試,同時用支持向量機進行結果對比；為了同樣使用原始步態動力學序列而不提取特征，支持向量機的相關實驗步驟包括：

分別對左右小腿的角速度z軸、角速度y軸和加速度z軸共六個通道數據進行運動時相劃分，包括支撐相和擺動相的劃分，將同步采集到的足底壓力序列通過閾值劃分轉成0-1序列作為分類標記，通過時相劃分結果間接得到運動狀態判別結果。