[發明專利]一種基于密集連接卷積神經網絡的人體運動狀態判別方法

有效

• 申請號: 201910281057.6
• 申請日: 2019-04-09
• 公開（公告）號: CN110334573B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 張斌;劉宇;李陽
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金恒聯合知識產權代理事務所 11324
• 代理人: 李強

本發明提供了一種多維信息融合的步態數據采集方式，以及基于密集連接卷積神經網絡的運動狀態判別方法。在多維信息融合的步態數據采集過程中，同時測量實驗對象在直行、左轉、右轉時左小腿(LS)、右小腿(RS)和腰上(L5)的加速度和角速度信息以及足底壓力信息，可操作性強、復雜度低。本發明提出的針對原始步態序列的密集連接卷積神經網絡不再需要特征提取，無需先驗知識，同時配合特征選擇，減少了所需的配套測量裝備個數和特征數目，降低了網絡模型的復雜度。且通過將中間部分卷積層的輸入和輸出特征圖連接形成下一層的輸入，使得本網絡的準確率有明顯提高。在上述自采數據集上測試單人多任務(直行、左轉、右轉)的運動狀態判別(直行、左轉、右轉)準確率可達99.1％，和SVM的91.79％相比，準確率有所提高。

技術領域

本發明提供了一種基于密集連接卷積神經網絡的人體運動狀態判別方法，它提供了多維信息融合的步態信息采集方式、為面向步態信息的運動狀態判別提供了新的分析方法，屬于人體步態識別和模式識別領域。

背景技術

人體步態識別技術旨在分析運動對象的步態加速度數據，實現對運動對象步態的定性判斷。此前基于視頻或圖像序列的步態分析(賁晛燁,徐森,王科俊.行人步態的特征表達及識別綜述.模式識別與人工智能,2012,25(1):71-81.(BEN X Y,XU S,WANG K J,etal.Review on Pedestrian Gait Feature Expression and Recognition.PatternRecognition and Artificial Intelligence,2012,25(1):71-81.))，易受到現場光照變化、運動目標遮擋等多種因素影響，不利于后續機器學習。本發明提出的多維信息融合的步態數據采集方式融合了足底壓力和多維動力學時間序列，可操作性強、復雜度低，在保證實時性的同時可為監督式學習提供更加準確的分類標記(支撐相和擺動相的劃分)，在本發明的一個實施例中根據上述采集方式得到了一個包含29名被試的步態信息數據集。

近年來，隨著深度學習的興起，卷積神經網絡(convolution neural network，CNN)在圖像、語音、視頻等諸多領域都取得了一定的應用效果。與傳統基于支持向量機(support vector machine，SVM)等傳統機器學習方法實現的人體步態識別相比，本發明提出的針對原始步態序列的密集連接卷積神經網絡不再需要特征提取，無需先驗知識，同時配合特征選擇，減少了所需的配套測量裝備個數和特征數目，降低了網絡模型的復雜度。且通過將中間部分卷積層的輸入和輸出特征圖連接形成下一層的輸入，使得本網絡的準確率有明顯提高。在上述自采數據集上測試單人多任務(直行、左轉、右轉)的運動狀態判別(直行、左轉、右轉) 準確率可達99.9％，和SVM的91.79％相比，準確率有所提高，同時該網絡重新訓練后同樣可以實現多人(29人)多任務(直行、左轉、右轉)的運動狀態判別，準確率可達94.8％。

發明內容

本發明提供了一種多維信息融合的步態數據采集方式，以及基于密集連接卷積神經網絡的運動狀態判別方法。在多維信息融合的步態數據采集過程中，同時測量實驗對象在直行、左轉、右轉時左小腿(LS)、右小腿(RS)和腰上(L5) 的加速度和角速度信息以及足底壓力信息。并利用決策樹進行特征選擇，減少預測時所需的慣性傳感器數目和特征數量。根據特征選擇的結果，最終選用左小腿和右小腿分別的角速度y軸、角速度z軸和加速度z軸共6個通道的動力學時間序列作為卷積神經網絡的輸入，實現單人單任務(直行、左轉、右轉)、多人(29 人)多任務(直行、左轉、右轉)的運動狀態判別(直行、左轉、右轉)，并進行結果比對。

為實現上述目的，實現多人多任務的運動狀態判別，本發明包括如下步驟：

1.數據采集：采用足底壓力分析系統和慣性傳感器相結合的方式進行數據采集，所用慣性傳感器中自帶濾波，過濾掉信號采集時的噪聲和其他無關成分；

2.特征選擇：對腿上和腰上的加速度和角速度信息利用決策樹進行特征重要性排序，以減少所需慣性傳感器和特征數目；