[發明專利]一種面向弱標簽傳感器數據的人體動作識別方法

在審

• 申請號: 201811634891.0
• 申請日: 2018-12-29
• 公開（公告）號: CN109726682A
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 何軍;張倩;王立群;裴凌
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 施昊

本發明公開了一種面向弱標簽傳感器數據的人體動作識別方法，步驟：利用傳感器采集人體行為活動數據構成訓練數據集，進行數據規范化處理，并添加對應的標簽；將訓練數據樣本輸入人體動作識別模型中，該模型包括卷積神經網絡模塊、循環神經網絡模塊和強化學習模塊；針對含單次活動的弱標簽傳感器數據和含多次活動的弱標簽傳感器數據分別設計回報函數，并計算相應的reward值；對人體動作識別模型進行訓練和優化；獲取測試數據集，輸入人體動作識別模型，測試模型的分類準確度。本發明通過每次處理弱標簽傳感器數據中的局部信息，在有限次數內快速地識別出特定的活動并且定位出活動發生的位置。

技術領域

本發明屬于行為識別技術領域，特別涉及了一種面向弱標簽傳感器數據的人體動作識別方法。

背景技術

人類活動識別是人工智能和模式識別領域的一個研究熱點。隨著智能可穿戴設備研究的不斷進步，基于可穿戴傳感器的人類活動識別成為其中的重要研究方向之一。隨著智能手機的普及和發展，如今的手機里配備了許多嵌入式傳感器，如加速度計、陀螺儀和磁力計，可以為不同的場景生成不同的數據。利用前所未有的可穿戴傳感器數據流，可以開發便攜式人體活動識別，以促進我們的日常生活。目前人類活動識別最常用的方法是CNN(卷積神經網絡)、RNN(循環神經網絡)、LSTM(長短期記憶網絡)和DeepConvLSTM(深度卷積循環神經網絡)。其中，最經典的就是DeepConvLSTM(深度卷積循環神經網絡)算法，其將每類傳感器(身體加速度計、整體加速度計、陀螺儀)的三個坐標軸(XYZ)數據合并成一個數據矩陣，即(128,3)維，作為輸入數據，每類傳感器均創建一個DeepConvLSTM模型，每個模型通過3次CNN操作和3次LSTM操作，將數據抽象為128維的LSTM輸出向量。其中，在CNN(卷積神經網絡)的卷積單元中，通過連續3組卷積、BN(BatchNormalization)、MaxPooling(最大池化)的組合操作，將128維的數據轉為了16維的高層特征，再執行一次Dropout。然后，在RNN(循環神經網絡)的時序單元中，通過三次LSTM操作(隱含層神經元數設置為128個)，將16維的卷積特征轉換為128維的時序特征，再執行Dropout操作。最后，將3個傳感器的3個模型輸出，合并為一個輸入，再執行Dropout、全連接(Dense)、BN操作，最后使用Softmax函數，輸出類別概率。該模型作為一個經典的模型，是很多其他領域論文里的實驗參照。

但是這些經典的人類活動識別方法，比如CNN(卷積神經網絡)、LSTM(長短期記憶網絡)、DeepConvLSTM(深度卷積循環神經網絡)等均屬于監督學習的方法，需要嚴格標記好的訓練數據集，即每條傳感器數據訓練樣本只包含一種人類活動，且整條數據樣本都為該活動，不能包含其他無關的背景活動(比如標簽為“跑步”的數據樣本必須都為“跑步”這一活動，不能包含“走路”、“跳躍”等其他無關的活動)。然而這些嚴格標記好的訓練樣本都是通過人工手動加窗分割的，需要消耗大量的人力和物力。對于較長的弱標簽傳感器數據，這些方法會導致模型變得非常龐大，并且由于弱標簽傳感器數據中包含大量的無關背景活動信息，導致這些方法的準確性不高。

發明內容

為了解決上述背景技術提出的技術問題，本發明提供了一種面向弱標簽傳感器數據的人體動作識別方法。

為了實現上述技術目的，本發明的技術方案為：

一種面向弱標簽傳感器數據的人體動作識別方法，包括以下步驟：

(1)利用傳感器采集人體行為活動數據構成訓練數據集，進行數據規范化處理，并添加對應的標簽；

(2)將訓練數據樣本輸入人體動作識別模型中，該模型包括卷積神經網絡模塊、循環神經網絡模塊和強化學習模塊；

(3)針對含單次特殊活動的弱標簽傳感器數據和含多次特殊活動的弱標簽傳感器數據分別設計回報函數，并計算相應的reward值；

(4)對人體動作識別模型進行訓練和優化；