[發明專利]一種神經網絡模型、動作識別方法、裝置及存儲介質

有效

• 申請號: 202110335501.5
• 申請日: 2021-03-29
• 公開（公告）號: CN112801283B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 王勃然;姜京池;劉劼
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V40/20;G06N3/0464;G06N3/08;G06V10/40
• 代理公司: 北京隆源天恒知識產權代理有限公司 11473
• 代理人: 徐蘇明

本發明提供了一種神經網絡模型、動作識別方法、裝置及存儲介質，神經網絡模型包括多個卷積模塊、輸出模塊、多個注意力子模塊和分類模塊，多個卷積模塊和輸出模塊依次連接，且每個卷積模塊的輸出端分別連接至一個注意力子模塊的輸入端，每個注意力子模塊的輸入端還分別與輸出模塊的輸出端連接，注意力子模塊的輸出端與分類模塊的輸入端連接；注意力子模塊，用于獲取各個卷積模塊輸出的局部特征向量和輸出模塊輸出的全局特征向量，分別計算各個局部特征向量和全局特征向量之間的兼容性分數，根據各個局部特征向量和對應的兼容性分數生成新特征向量；分類模塊，根據新特征向量確定當前人體動作。本發明的技術方案能夠提高人體動作的識別精度。

技術領域

本發明涉及神經網絡技術領域，具體而言，涉及一種神經網絡模型、動作識別方法、裝置及存儲介質。

背景技術

近年來，隨著移動技術的發展，基于可穿戴設備的人體動作識別(Human?ActivityRecognition，HAR)成為了人工智能和模式識別領域的新研究點，被廣泛地應用在運動活動檢測、智能家居和健康支持等領域。

目前，常采用支持向量機、主成分分析和隨機森林等機器學習方法來進行識別，通過手動提取特征，將提取的特征輸入到決策表、K近鄰(KNN)、決策樹和樸素貝葉斯、多層感知(MLP)和邏輯回歸等分類器識別人體動作。但是，人工提取特征工作量大、標注困難，且上述分類器在識別類似動作方法準確度較低。

發明內容

本發明解決的問題是如何提高人體動作的識別精度。

為解決上述問題，本發明提供一種神經網絡模型、動作識別方法、裝置及存儲介質。

第一方面，本發明提供了一種神經網絡模型，包括多個卷積模塊、輸出模塊、多個注意力子模塊和分類模塊，多個所述卷積模塊和所述輸出模塊依次連接，且每個所述卷積模塊的輸出端分別連接至一個所述注意力子模塊的輸入端，每個所述注意力子模塊的輸入端還分別與所述輸出模塊的輸出端連接，所述注意力子模塊的輸出端與所述分類模塊的輸入端連接；

多個所述卷積模塊，用于根據獲取的傳感器數據逐層進行特征提取，各個所述卷積模塊分別輸出一個局部特征向量，其中，所述傳感器數據由布設在人體上多個位置的傳感器檢測獲得；

所述輸出模塊，用于對最后一個所述卷積模塊的輸出數據進行處理，輸出全局特征向量；

所述注意力子模塊，用于獲取各個所述卷積模塊輸出的所述局部特征向量和所述輸出模塊輸出的所述全局特征向量，分別計算各個所述局部特征向量和所述全局特征向量之間的兼容性分數，根據各個所述局部特征向量和對應的所述兼容性分數生成新特征向量；

所述分類模塊，根據所述新特征向量確定當前人體動作。

可選地，所述卷積模塊包括一個或多個卷積層、池化層和展平層，各個所述卷積層依次連接，且最后一個所述卷積層的輸出端分別連接至所述池化層的輸入端和所述展平層的輸入端，所述池化層的輸出端連接至另一個所述卷積模塊的輸入端或所述輸出模塊的輸入端，所述展平層的輸出端連接至一個所述注意力子模塊的輸入端；

所述卷積層，用于對輸入數據進行特征提取，獲得所述特征矩陣；

所述池化層，用于對所述特征矩陣進行降維，獲得降維后的特征矩陣，并將所述降維后的特征矩陣傳輸至相連的下一個所述卷積模塊或所述輸出模塊；

所述展平層，用于將所述特征矩陣展平成所述局部特征向量。

可選地，所述注意力子模塊具體用于：

將各個所述局部特征向量分別和所述全局特征向量進行拼接，獲得多個拼接向量；

根據預設的權重向量和所述拼接向量分別確定各個所述局部特征向量與所述全局特征向量之間的所述兼容性分數。

可選地，所述注意力子模塊具體用于：