[發明專利]一種智能監控的手勢識別方法、裝置、設備和存儲介質

在審

• 申請號: 202110694158.3
• 申請日: 2021-06-22
• 公開（公告）號: CN113408433A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 崔子棟;吳毳;李津軒;姜峰
• 申請（專利權）人: 華僑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/02
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 陳曉思

1.一種智能監控的手勢識別方法，其特征在于，包含：

獲取圖像序列；其中，所述圖像序列包含有目標人物；

基于終端輕量化神經網絡模型，構建物體檢測模型；

通過所述物體檢測模型，提取所述圖像序列中的手部圖像，并根據所述圖像序列的時間生成手部圖像序列；

根據所述手部圖像序列，通過圖像分類模型進行分類，以獲得手勢序列。

2.根據權利要求1所述的手勢識別方法，其特征在于，所述終端輕量化模型為MnasNet模型；所述物體檢測模型為SSD模型；

基于終端輕量化神經網絡模型，構建物體檢測模型，具體為：

構建以MnasNet模型為主干網絡的SSD模型；其中，所述主干網絡依次包括：1層卷積核為3x3的Conv，1層卷積核為3x3的SpeConv，2層卷積核為3x3的MBConv，3層卷積核為5x5的MBConv，4層卷積核為3x3的MBConv，2層卷積核為3x3的MBConv，3層卷積核為5x5的MBConv，1層卷積核為3x3的MBConv，1層Pooling或者1層FC。

3.根據權利要求2所述的手勢識別方法，其特征在于，通過所述物體檢測模型，提取所述手部圖像,具體為：

將所述圖像序列逐幀輸入所述主干網絡，以使所述主干網絡逐層對圖像進行卷積；

提取卷積過程中的尺度為112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五個中間層進行回歸分析，以獲得所述手部圖像的區域根據所述區域從所述圖像中提取所述手部圖像。

4.根據權利要求1所述的手勢識別方法，其特征在于，獲取圖像序列具體為：

接收目標區域的不同角度的多個監控視頻；

根據多個所述監控視頻，通過OpenPose模型獲取所述目標區域中的各個人物的不同角度的骨架信息；

根據所述骨架信息，獲取各個所述人物所在的圖像區域；其中，所述圖像區域為各個所述人物的骨架面積最大的圖像所在的區域；

根據所述圖像區域，從多個所述監控視頻中，分別提取各個所述人物的圖像序列。

5.一種智能監控的手勢識別裝置，其特征在于，包含：

序列模塊，用于獲取圖像序列；其中，所述圖像序列包含有目標人物；

模型模塊，用于基于終端輕量化神經網絡模型，構建物體檢測模型；

檢測模塊，用于通過所述物體檢測模型，提取所述圖像序列中的手部圖像，并根據所述圖像序列的時間生成手部圖像序列；

分類模塊，用于根據所述手部圖像序列，通過圖像分類模型進行分類，以獲得手勢序列。

6.根據權利要求5所述的手勢識別裝置，其特征在于，所述終端輕量化模型為MnasNet模型；所述物體檢測模型為SSD模型；

所述模型模塊具體用于：

構建以MnasNet模型為主干網絡的SSD模型；其中，所述主干網絡依次包括：1層卷積核為3x3的Conv，1層卷積核為3x3的SpeConv，2層卷積核為3x3的MBConv，3層卷積核為5x5的MBConv，4層卷積核為3x3的MBConv，2層卷積核為3x3的MBConv，3層卷積核為5x5的MBConv，1層卷積核為3x3的MBConv，1層Pooling或者1層FC。

7.根據權利要求6所述的手勢識別裝置，其特征在于，所述檢測模塊，包括：

卷積單元，用于將所述圖像序列逐幀輸入所述主干網絡，以使所述主干網絡逐層對圖像進行卷積；

分析單元，用于提取卷積過程中的尺度為112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五個中間層進行回歸分析，以獲得所述手部圖像的區域

提取單元，用于根據所述區域從所述圖像中提取所述手部圖像。