[發明專利]用于步態分類的基于深度學習的多傳感器信號融合方法

在審

• 申請號: 201910063463.5
• 申請日: 2019-01-23
• 公開（公告）號: CN109784412A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 殷書寶;陳煒;朱航宇;王心平
• 申請（專利權）人: 復旦大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;A61B5/11;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種用于步態分類的基于深度學習的多傳感器信號融合方法，其特征在于，通過構建深度神經網絡對異常步態進行分類，并利用神經網絡對多信息源數據的數據層、特征層、決策層進行融合，從而完備提取多源異構傳感器信息，具體步驟如下：

步驟一，采集正常步態信息：利用穿戴于人體的IMU模塊與SEMG模塊采集人體正常行走時的信號，得到正常步態三軸加速度信息及下肢肌群表面肌電信息；

步驟二，采集異常步態信息：利用穿戴于人體的IMU采集人體模擬典型異常步態行走時的信號，得到異常步態三軸加速度信息及下肢肌群表面肌電信息；

步驟三，數據預處理與數據層融合：將來自兩種傳感器的原始各通道數據根據時間戳做數據對齊，將IMU數據與EMG數據濾波后進行歸一化處理；根據目標典型行走步頻將原始數據各自做開窗切割預處理，并根據步態類別將各數據隊列打上相應標簽，得到分別為IMU、SEMG數據的兩組數據標簽對；其中，IMU三軸數據的組內時間戳對齊，SEMG多通道數據的組內時間戳對齊，以及IMU、SEMG數據的組間時間戳對齊；

步驟四，搭建特征融合深度卷積神經網絡(CNN)，該CNN網絡為六層結構：

卷積層一A與池化層一A全連接，卷積層一B與池化層一B全連接，池化層一A與池化層一B融合至卷積層二，卷積層二連接池化層二，池化層二連接全連接隱藏層，全連接隱藏層連接至全連接輸出層；

定義兩個并列的卷積層一：卷積層一A，卷積層一B，定義池化層一，定義一個卷積層二、池化層二，定義全連接層及各激活函數；

步驟五，將步驟三中得到的數據標簽對分成訓練集與測試集，將時間戳對齊后的IMU與SEMG數據成組分別送入步驟四中的卷積層一：IMU進入卷積層一A，SEMG進入卷積層一B；進行訓練；數據在卷積層二完成特征級融合；

步驟六，重復步驟三至步驟五三次，得到三個模型；

步驟七，訓練完成后利用測試集評估模型，將三個模型的預測結果做多數判決選舉，完成數據決策層融合。

2.根據權利要求1所述的多傳感器信號融合方法，其特征在于，步驟一、二中所述IMU采集單元安置于小腿、鞋中、腰間，正常步態與異常步態的安裝方式一致；所述SEMG采集單元安置于腓腸肌肌腹、脛前肌肌腹，正常步態與異常步態的安裝方式一致。

3.根據權利要求1所述的多傳感器信號融合方法，其特征在于，步驟二中所述典型異常步態包括偏癱步態、帕金森步態、鴨步步態、跨閾步態、雙癱步態。

4.根據權利要求1、2或3所述的多傳感器信號融合方法，其特征在于，步驟三中所述將原始數據各自做開窗切割，其數據窗長度典型值為兩個步態周期，窗間逐段步進值取開窗長度的四分之一，所述標簽形式為獨熱編碼。

5.根據權利要求4所述的多傳感器信號融合方法，其特征在于，步驟四中所述卷積層一A與卷積層一B的輸入矩陣定義為步驟三中每段數據窗：數據信源通道數，當前采樣頻率下來自各自信號數據的采樣點數；

所述輸出層結點數定義為當前模型中步態種類數，也即一種正常步態與所有異常步態之和。

6.根據權利要求1、2、3或5所述的多傳感器信號融合方法，其特征在于，所述CNN網絡的優化算法采用Adam優化器；

所述的多傳感器信號融合方法，其特征在于，所述各層激勵函數為ReLU函數、Sigmod函數或tanh函數，輸出層激勵函數為Softmax函數。

7.根據權利要求6所述的多傳感器信號融合方法，其特征在于，所述CNN網絡的損失函數為多類對數損失函數。