[發(fā)明專利]用于步態(tài)分類的基于深度學(xué)習(xí)的多傳感器信號(hào)融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910063463.5
• 申請(qǐng)日: 2019-01-23
• 公開（公告）號(hào): CN109784412A
• 公開（公告）日: 2019-05-21
• 發(fā)明（設(shè)計(jì)）人: 殷書寶;陳煒;朱航宇;王心平
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;A61B5/11;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發(fā)明屬于生物特征識(shí)別技術(shù)領(lǐng)域，具體涉及一種用于步態(tài)分類的基于深度學(xué)習(xí)的多傳感器信號(hào)融合方法。本發(fā)明通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)對(duì)異常步態(tài)進(jìn)行分類，并利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)來自IMU慣性傳感單元和SEMG表面肌電的多源異構(gòu)信息源數(shù)據(jù)進(jìn)行融合；融合內(nèi)容包括數(shù)據(jù)層（CNN輸入層）、特征層（CNN池化層1至卷積層2）以及決策層（CNN輸出層）融合，從而完備提取多源異構(gòu)傳感器信息，提高分類器分類精度，同時(shí)減少數(shù)據(jù)預(yù)處理工作量，提高分類準(zhǔn)確度與判別效率。經(jīng)驗(yàn)證，本發(fā)明在多種異常步態(tài)分類任務(wù)中分類效果較單模態(tài)傳感器有顯著提升，在實(shí)施例中所舉異常步態(tài)六分類任務(wù)中，分類準(zhǔn)確率達(dá)到99.15%，較單IMU信息源CNN網(wǎng)絡(luò)提升約三個(gè)百分點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明屬于生物信號(hào)傳感技術(shù)領(lǐng)域，具體涉及一種用于步態(tài)分類的多傳感器信號(hào)融合方法。

背景技術(shù)

步態(tài)指人走路時(shí)所表現(xiàn)出來的姿態(tài)，是人體重要生物特征之一。異常步態(tài)多與病變部位有關(guān)，作為反映人體健康狀況和行為能力的重要特征，及時(shí)獲得準(zhǔn)確可信的步態(tài)信息，訓(xùn)練異常步態(tài)分類器對(duì)步態(tài)異常進(jìn)行及時(shí)預(yù)警，且長期對(duì)其進(jìn)行監(jiān)測(cè)與評(píng)估，在醫(yī)療診斷、疾病預(yù)防中具有重要的指導(dǎo)意義。

多傳感器數(shù)據(jù)融合MSDF(Multi-sensor Data Fusion)技術(shù)首先在軍事中被廣泛使用，近來隨著生物醫(yī)學(xué)信息采集技術(shù)的日益成熟完善，尤其是可穿戴設(shè)備及身體傳感網(wǎng)(Body Sensor Network)的興起，對(duì)醫(yī)學(xué)信號(hào)的多傳感器融合引起了關(guān)注。

目前主流的步態(tài)識(shí)別方法主要分基于視頻及圖像處理的計(jì)算機(jī)視覺方案和基于步道與穿戴式傳感器如IMU的傳感器方案。基于傳感器有基于下肢運(yùn)動(dòng)信息、基于下肢表面肌電、基于足底壓力分布等眾多單傳感器方案，但單一傳感器與多傳感器相比數(shù)據(jù)單薄，不能獲取對(duì)象完整、全面的信息。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種分類精度高、計(jì)算復(fù)雜度低的用于步態(tài)分類的多傳感器信號(hào)融合方法。

本發(fā)明提出的用于步態(tài)分類的多傳感器信號(hào)融合方法，是基于深度神經(jīng)網(wǎng)絡(luò)技術(shù)的，其通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)對(duì)異常步態(tài)進(jìn)行分類，并利用神經(jīng)網(wǎng)絡(luò)對(duì)多信息源數(shù)據(jù)的數(shù)據(jù)層、特征層、決策層進(jìn)行融合，從而完備提取多源異構(gòu)傳感器信息，提高分類器分類精度。具體步驟如下：

步驟一，采集正常步態(tài)信息。利用穿戴于人體的IMU(慣性傳感單元)模塊與SEMG(表面肌電)模塊采集人體正常行走時(shí)的信號(hào)，得到正常步態(tài)三軸加速度信息及下肢肌群表面肌電信息；

步驟二，采集異常步態(tài)信息。利用穿戴于人體的IMU采集人體模擬典型異常步態(tài)行走時(shí)的信號(hào)，得到異常步態(tài)三軸加速度信息及下肢肌群表面肌電信息；

步驟三，數(shù)據(jù)預(yù)處理與數(shù)據(jù)層融合。將來自兩種傳感器的原始各通道數(shù)據(jù)根據(jù)時(shí)間戳做數(shù)據(jù)對(duì)齊，將IMU數(shù)據(jù)與EMG數(shù)據(jù)濾波后進(jìn)行歸一化處理；根據(jù)目標(biāo)典型行走步頻將原始數(shù)據(jù)各自做開窗切割預(yù)處理，并根據(jù)步態(tài)類別將各數(shù)據(jù)隊(duì)列打上相應(yīng)標(biāo)簽，得到分別為IMU、SEMG數(shù)據(jù)的兩組數(shù)據(jù)標(biāo)簽對(duì)；其中，IMU三軸數(shù)據(jù)的組內(nèi)時(shí)間戳對(duì)齊，SEMG多通道數(shù)據(jù)的組內(nèi)時(shí)間戳對(duì)齊，以及IMU、SEMG數(shù)據(jù)的組間時(shí)間戳對(duì)齊；

步驟四，搭建特征融合深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)，該CNN網(wǎng)絡(luò)為六層結(jié)構(gòu)，卷積層一A與池化層一A全連接，卷積層一B與池化層一B全連接，池化層一A與池化層一B融合至卷積層二，卷積層二連接池化層二，池化層二連接全連接隱藏層，全連接隱藏層連接至全連接輸出層；定義兩個(gè)并列的卷積層一(卷積層一A，卷積層一B)、池化層一，定義一個(gè)卷積層二、池化層二，定義全連接層及各激活函數(shù)；

步驟五，將步驟三中得到的數(shù)據(jù)標(biāo)簽對(duì)分成訓(xùn)練集與測(cè)試集，將時(shí)間戳對(duì)齊后的IMU與SEMG數(shù)據(jù)成組分別送入步驟四中的卷積層一(IMU進(jìn)入卷積層一A，SEMG進(jìn)入卷積層一B)進(jìn)行訓(xùn)練；數(shù)據(jù)在卷積層二完成特征級(jí)融合；

步驟六，重復(fù)步驟三至步驟五三次，得到三個(gè)模型；