[發明專利]一種基于改進的LSTM模型在人體行為識別上的應用方法

在審

• 申請號: 202010776882.6
• 申請日: 2020-08-05
• 公開（公告）號: CN111860460A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 盧新彪;徐嘉雯
• 申請（專利權）人: 江蘇新安電器股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 張勵

本發明公開了一種基于改進的LSTM模型在人體行為識別上的應用方法，包括以下步驟：S1：確定網絡隱藏層數及其內部神經元數量；S2：若加深網絡層數，則在隱藏層間加入Dropout正則項；S3：改變LSTM單元的內置激活函數，將原來的Tanh函數替換為Softsign函數；S4：改變LSTM內部網絡，加入正向與反向LSTM單元形成雙向LSTM(Bi?LSTM)單元；S5：記錄改進前后的網絡訓練時間。本發明，由于加深網絡層數，引入Dropout以緩解訓練集與測試集之間的過擬合情況；Softsign激活函數替換原LSTM默認函數Tanh，一定程度上提高網絡精度，降低損失；引入Bi?LSTM，在CPU上的訓練時間從23分鐘減小至8分鐘，有效縮短網絡訓練時間。

技術領域

本發明涉及神經網絡相關技術領域，具體是一種基于改進的LSTM模型在人體行為識別上的應用方法。

背景技術

人體行為識別是目前計算機視覺領域的一個研究熱點，在人機交互、安全防范、多媒體視頻理解以及智能家居等方面有著廣泛的應用。人體行為識別主要是從視頻或傳感器采集的數據中判別人體的行為動作并分類。21世紀以來，神經網絡技術的發展愈加成熟，其強大的學習能力使得人類的生活生產方式變得更加智能，這也引發了深度學習與神經網絡的研究熱潮。常用的基于神經網絡的人體行為識別模型包括：基于卷積神經網絡(Convolutional Neural Network)的行為特征提取，基于長短期記憶網絡(LSTM)的行為識別與分類，基于CNN-LSTM的人體行為識別以及CNN-LSTM思想的進一步擴展——ConvLSTM模型。

在實際的神經網絡識別人體行為的應用中，給定一個網絡模型，需要根據數據集的大小調整內部結構與參數。調試神經網絡也是一項很艱巨的任務。例如，當所用數據集較大達到幾G 甚至10幾G時，我們需要設定較為復雜的網絡層或者更多的迭代次數去學習。當然，網絡的層數都是由簡單到復雜，首先創建一個小的神經網絡進行嘗試，然后逐步加深，逐步訓練解決問題的模型。

1982年，美國加州理工學院物理學家John hopfield發明了一種單層反饋神經網絡Hopfield network，用來解決組合優化問題。這是最早的RNN的雛形。隨著后期RNN的發展，出現了梯度消失(gradient vanishing)及梯度爆炸(gradient exploding)的問題，訓練變得困難，應用非常受限。直到1997 年，人工智能研究所的主任Jurgen Schmidhuber提出長短期記憶(LSTM)，LSTM使用門控單元及記憶機制大大緩解了早期 RNN訓練的問題。同時期，Mike Schuster提出雙向RNN模型 (Bidirectional RNN)。

對于LSTM在手機傳感器數據中的應用，許多研究學者已經做了很多較好的實驗與成果。例如：于濤(基于智能手機的人體行為識別研究[D].南京郵電大學,2019.)在他的實驗中研究了不同網絡層數下LSTM網絡中樣本時序長度和時間復雜度的關系，且提出一種多層并行LSTM網絡進行行為識別，使用多個 LSTM單元并行處理一個長時間序列樣本的方式，在保證網絡特性和算法準確率的同時，降低了樣本處理的時間復雜度。但是如果所用數據集不夠大，復雜多層的網絡結構并不完全適用。在上述實驗中，雖然該算法在能量節省率上的表現較好，但是精度發生了略微下降，且有極大可能產生樣本的過擬合。

發明內容

本發明的目的在于提供一種基于改進的LSTM模型在人體行為識別上的應用方法，以解決現有技術中的問題。

為實現上述目的，本發明提供如下技術方案：一種基于改進的LSTM模型在人體行為識別上的應用方法，包括以下步驟：

S1：確定網絡隱藏層數及其內部神經元數量；

S2：若加深網絡層數，則在隱藏層間加入Dropout正則項；

S3：改變LSTM單元的內置激活函數，將原來的Tanh函數替換為Softsign函數；