[發明專利]手勢識別方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110593870.4
• 申請日: 2021-05-28
• 公開（公告）號: CN113343812A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 麻凱利;馬志國;張飛飛;楊明坤;郝雙;尹成浩;王彥君;劉騰龍;王少康;杜竹君
• 申請（專利權）人: 北京智通東方軟件科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賀曉蕾

1.一種手勢識別方法，其特征在于，所述方法包括：

獲取目標視頻圖像，所述目標視頻圖像包括多幀手部圖像；

通過預設手勢識別模型確定所述目標視頻圖像中的每幀手部圖像對應的手勢類別和指尖位置；

根據所述目標視頻圖像中每幀手部圖像對應的手勢類別和指尖位置確定所述目標視頻圖像對應的目標手勢動作；

其中，所述預設手勢識別模型包括：特征提取子模型，中心位置確定子模型，偏差量獲取子模型，長寬獲取子模型，關鍵點位置獲取子模型以及輸出子模型，所述特征提取子模型的輸出端分別與所述中心位置確定子模型的輸入端，所述偏差量獲取子模型的輸入端，所述長寬獲取子模型的輸入端，以及關鍵點位置獲取子模型的輸入端耦合，所述中心位置確定子模型的輸出端，所述偏差量獲取子模型的輸出端，所述長寬獲取子模型的輸出端，關鍵點位置獲取子模型的輸出端均與所述輸出子模型的輸入端耦合；所述特征提取子模型，用于對手部圖像進行卷積特征提取，以得到所述手部圖像對應的卷積特征圖，所述中心位置確定子模型，用于生成手部圖像對應的每個預設手勢類別的手部位置特征圖，所述偏差量獲取子模型，用于獲取所述手部圖像中手部位置對應的偏移量特征圖，所述長寬獲取子模型，用于獲取所述手部圖像中手部位置對應的大小特征圖，所述關鍵點位置獲取子模型，用于獲取所述手部圖像中預設手部關鍵點對應的關鍵點位置特征圖，所述輸出子模型，用于根據所述手部位置特征圖，所述偏移量特征圖，所述大小特征圖，以及所述關鍵點位置特征圖輸出每幀手部圖像對應的所述手勢類別和所述指尖位置。

2.根據權利要求1所述的方法，其特征在于，所述通過預設手勢識別模型確定所述目標視頻圖像中的每幀手部圖像對應的手勢類別和指尖位置，包括：

將每幀手部圖像輸入所述預設手勢識別模型，以使所述預設手勢識別模型中的所述特征提取子模型對所述手部圖像進行卷積特征提取，以得到卷積特征圖；

將每幀手部圖像對應的所述卷積特征圖分別輸入所述預設手勢識別模型中的所述中心位置確定子模型，所述偏差量獲取子模型，所述長寬獲取子模型，所述關鍵點位置獲取子模型，以使所述中心位置確定子模型生成所述手部圖像對應的每個預設手勢類別的手部位置特征圖，并使所述偏差量獲取子模型輸出所述手部圖像中手部位置對應的偏移量特征圖，所述長寬獲取子模型輸出所述手部圖像中手部位置對應的大小特征圖，所述關鍵點位置獲取子模型輸出所述手部圖像中手部預設關鍵點對應的關鍵點位置特征圖；

通過預設手勢識別模型中的所述輸出子模型根據每幀手部圖像對應的所述手部位置特征圖，所述偏移量特征圖，所述大小特征圖，以及所述關鍵點位置特征圖輸出該幀手部圖像對應的所述手勢類別和所述指尖位置。

3.根據權利要求2所述的方法，其特征在于，所述通過預設手勢識別模型中的所述輸出子模型根據每幀手部圖像對應的所述手部位置特征圖，所述偏移量特征圖，所述大小特征圖，以及所述關鍵點位置特征圖輸出該幀手部圖像對應的所述手勢類別和所述指尖位置，包括：

將所述手部圖像對應的所述手部位置特征圖，所述偏移量特征圖，所述大小特征圖，以及所述關鍵點位置特征圖輸入所述輸出子模型，以使所述輸出子模型對所述手部位置特征圖進行最大池化處理，以得到目標手部位置特征圖，并從所述偏移量特征圖中確定所述目標手部位置特征圖中每個像素對應的偏移量特征，從所述大小特征圖中確定所述目標手部位置特征圖中每個像素對應的大小特征，從所述關鍵點位置特征圖中確定所述目標手部位置特征圖中每個像素對應的關鍵點位置坐標，根據所述目標手部位置特征圖中每個像素對應的偏移量特征，每個像素對應的大小特征，每個像素對應的關鍵點位置坐標，生成所述手部圖像對應的所述手勢類別和所述指尖位置。

4.根據權利要求1所述的方法，其特征在于，所述根據所述目標視頻圖像中每幀手部圖像對應的手勢類別和指尖位置確定所述目標視頻圖像對應的目標手勢動作，包括：

從所述目標視頻圖像中獲取預設時長的待識別視頻圖像；

在確定所述待識別視頻圖像中包含目標手勢類別的圖像大于預設時長閾值的情況下，從所述待識別視頻圖像中確定目標手部視頻圖像，所述目標手部視頻圖像包括連續多幀目標手勢類別的手部圖像；

根據所述目標手部視頻中起始幀圖像對應的指尖位置與末尾幀圖像對應的指尖位置確定所述目標手部視頻對應的目標手勢動作。