[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)模型、動(dòng)作識(shí)別方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110335501.5
• 申請(qǐng)日: 2021-03-29
• 公開（公告）號(hào): CN112801283B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設(shè)計(jì)）人: 王勃然;姜京池;劉劼
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）
• 主分類號(hào): G06V10/82
• 分類號(hào): G06V10/82;G06V40/20;G06N3/0464;G06N3/08;G06V10/40
• 代理公司: 北京隆源天恒知識(shí)產(chǎn)權(quán)代理有限公司 11473
• 代理人: 徐蘇明

1.一種神經(jīng)網(wǎng)絡(luò)模型，其特征在于，包括多個(gè)卷積模塊、輸出模塊、多個(gè)注意力子模塊和分類模塊，多個(gè)所述卷積模塊和所述輸出模塊依次連接，且每個(gè)所述卷積模塊的輸出端分別連接至一個(gè)所述注意力子模塊的輸入端，每個(gè)所述注意力子模塊的輸入端還分別與所述輸出模塊的輸出端連接，所述注意力子模塊的輸出端與所述分類模塊的輸入端連接；

多個(gè)所述卷積模塊，用于根據(jù)獲取的傳感器數(shù)據(jù)逐層進(jìn)行特征提取，各個(gè)所述卷積模塊分別輸出一個(gè)局部特征向量，其中，所述傳感器數(shù)據(jù)由布設(shè)在人體上多個(gè)位置的傳感器檢測(cè)獲得；

所述輸出模塊，用于對(duì)最后一個(gè)所述卷積模塊的輸出數(shù)據(jù)進(jìn)行處理，輸出全局特征向量；

所述注意力子模塊，用于獲取各個(gè)所述卷積模塊輸出的所述局部特征向量和所述輸出模塊輸出的所述全局特征向量，分別計(jì)算各個(gè)所述局部特征向量和所述全局特征向量之間的兼容性分?jǐn)?shù)，根據(jù)各個(gè)所述局部特征向量和對(duì)應(yīng)的所述兼容性分?jǐn)?shù)生成新特征向量；

所述分類模塊，根據(jù)所述新特征向量確定當(dāng)前人體動(dòng)作；

所述卷積模塊包括一個(gè)或多個(gè)卷積層、池化層和展平層，各個(gè)所述卷積層依次連接，且最后一個(gè)所述卷積層的輸出端分別連接至所述池化層的輸入端和所述展平層的輸入端，所述池化層的輸出端連接至另一個(gè)所述卷積模塊的輸入端或所述輸出模塊的輸入端，所述展平層的輸出端連接至一個(gè)所述注意力子模塊的輸入端；

所述卷積層，用于對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，獲得特征矩陣；

所述池化層，用于對(duì)所述特征矩陣進(jìn)行降維，獲得降維后的特征矩陣，并將所述降維后的特征矩陣傳輸至相連的下一個(gè)所述卷積模塊或所述輸出模塊；

所述展平層，用于將所述特征矩陣展平成所述局部特征向量；

所述注意力子模塊具體用于：將各個(gè)所述局部特征向量分別和所述全局特征向量進(jìn)行拼接，獲得多個(gè)拼接向量，根據(jù)預(yù)設(shè)的權(quán)重向量和所述拼接向量分別確定各個(gè)所述局部特征向量與所述全局特征向量之間的所述兼容性分?jǐn)?shù)；

其中，采用第一公式計(jì)算所述局部特征向量和所述全局特征向量之間的所述兼容性分?jǐn)?shù)，所述第一公式包括：

其中，表示第i個(gè)所述局部特征向量對(duì)應(yīng)的兼容性分?jǐn)?shù)，表示第i個(gè)所述卷積模塊輸出的所述局部特征向量，G表示所述全局特征向量，w表示權(quán)重向量，n表示所述卷積模塊的數(shù)量。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述注意力子模塊具體還用于：

將各個(gè)所述局部特征向量分別和所述全局特征向量進(jìn)行點(diǎn)積運(yùn)算，確定各個(gè)所述局部特征向量與所述全局特征向量之間的所述兼容性分?jǐn)?shù)。

3.根據(jù)權(quán)利要求1或2所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述注意力子模塊具體還用于：根據(jù)所述兼容性分?jǐn)?shù)確定各個(gè)所述局部特征向量的權(quán)重，根據(jù)所述權(quán)重和所述局部特征向量分別確定各個(gè)所述卷積模塊對(duì)應(yīng)的輸出矢量，將所有所述輸出矢量進(jìn)行組合，獲得所述新特征向量。

4.根據(jù)權(quán)利要求1或2所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述輸出模塊包括第一全連接層；

所述第一全連接層，用于對(duì)輸入的所述特征矩陣進(jìn)行縮放，并采用線性整流函數(shù)對(duì)縮放后的特征矩陣進(jìn)行激活，獲得激活后的特征矩陣。

5.根據(jù)權(quán)利要求1或2所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述分類模塊包括第二全連接層，所述第二全連接層用于對(duì)所述新特征向量進(jìn)行分類，確定所述新特征向量對(duì)應(yīng)為各個(gè)類別的人體動(dòng)作的概率，輸出概率最大的所述人體動(dòng)作為所述當(dāng)前人體動(dòng)作。

6.一種動(dòng)作識(shí)別方法，其特征在于，包括：

獲取多個(gè)傳感器數(shù)據(jù)，其中，各個(gè)傳感器分別布設(shè)在人體上的多個(gè)位置；

將各個(gè)所述傳感器數(shù)據(jù)輸入訓(xùn)練好的如權(quán)利要求1至5任一項(xiàng)所述的神經(jīng)網(wǎng)絡(luò)模型，確定當(dāng)前人體動(dòng)作。