[發明專利]手勢識別方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110593870.4
• 申請日: 2021-05-28
• 公開（公告）號: CN113343812A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 麻凱利;馬志國;張飛飛;楊明坤;郝雙;尹成浩;王彥君;劉騰龍;王少康;杜竹君
• 申請（專利權）人: 北京智通東方軟件科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賀曉蕾

本公開涉及一種手勢識別方法、裝置、存儲介質及電子設備，該方法通過預設手勢識別模型確定所述目標視頻圖像中的每幀手部圖像對應的手勢類別和指尖位置；根據該目標視頻圖像中每幀手部圖像對應的手勢類別和指尖位置確定該目標視頻圖像對應的目標手勢動作；其中，該預設手勢識別模型包括：特征提取子模型，中心位置確定子模型，偏差量獲取子模型，長寬獲取子模型，關鍵點位置獲取子模型以及輸出子模型，能夠在一個模型中將識別手勢類別和指尖定位兩個任務進行統一，能夠有效減少識別手勢類別和指尖定位過程的所需的時間，從而能夠有效提高模型識別手勢類別和指尖位置的效率。

技術領域

本公開涉及圖像處理技術領域，具體地，涉及一種手勢識別方法、裝置、存儲介質及電子設備。

背景技術

目前，針對手勢檢測，指尖定位，通常的處理方式為通過兩個模型分階段地處理這兩個任務，即在一個階段內使用多類手勢檢測模型輸出手部位置和手勢類別，在另一個階段使用關鍵點檢測模型在手部位置范圍內識別手指關鍵點，從而完成指尖定位任務。也就是說，針對手勢檢測和指尖定位這兩個任務，相關技術中的模型識別效率較低，不利于減少得到手勢類別和指尖位置所需的時間。

發明內容

本公開的目的是提供一種手勢識別方法、裝置、存儲介質及電子設備。

為了實現上述目的，在本公開的第一方面提供了一種手勢識別方法，所述方法包括：

獲取目標視頻圖像，所述目標視頻圖像包括多幀手部圖像；

通過預設手勢識別模型確定所述目標視頻圖像中的每幀手部圖像對應的手勢類別和指尖位置；

根據所述目標視頻圖像中每幀手部圖像對應的手勢類別和指尖位置確定所述目標視頻圖像對應的目標手勢動作；

其中，所述預設手勢識別模型包括：特征提取子模型，中心位置確定子模型，偏差量獲取子模型，長寬獲取子模型，關鍵點位置獲取子模型以及輸出子模型，所述特征提取子模型的輸出端分別與所述中心位置確定子模型的輸入端，所述偏差量獲取子模型的輸入端，所述長寬獲取子模型的輸入端，以及關鍵點位置獲取子模型的輸入端耦合，所述中心位置確定子模型的輸出端，所述偏差量獲取子模型的輸出端，所述長寬獲取子模型的輸出端，關鍵點位置獲取子模型的輸出端均與所述輸出子模型的輸入端耦合；所述特征提取子模型，用于對手部圖像進行卷積特征提取，以得到所述手部圖像對應的卷積特征圖，所述中心位置確定子模型，用于生成手部圖像對應的每個預設手勢類別的手部位置特征圖，所述偏差量獲取子模型，用于獲取所述手部圖像中手部位置對應的偏移量特征圖，所述長寬獲取子模型，用于獲取所述手部圖像中手部位置對應的大小特征圖，所述關鍵點位置獲取子模型，用于獲取所述手部圖像中預設手部關鍵點對應的關鍵點位置特征圖，所述輸出子模型，用于根據所述手部位置特征圖，所述偏移量特征圖，所述大小特征圖，以及所述關鍵點位置特征圖輸出每幀手部圖像對應的所述手勢類別和所述指尖位置。

可選地，所述通過預設手勢識別模型確定所述目標視頻圖像中的每幀手部圖像對應的手勢類別和指尖位置，包括：

將每幀手部圖像輸入所述預設手勢識別模型，以使所述預設手勢識別模型中的所述特征提取子模型對所述手部圖像進行卷積特征提取，以得到卷積特征圖；

將每幀手部圖像對應的所述卷積特征圖分別輸入所述預設手勢識別模型中的所述中心位置確定子模型，所述偏差量獲取子模型，所述長寬獲取子模型，所述關鍵點位置獲取子模型，以使所述中心位置確定子模型生成所述手部圖像對應的每個預設手勢類別的手部位置特征圖，并使所述偏差量獲取子模型輸出所述手部圖像中手部位置對應的偏移量特征圖，所述長寬獲取子模型輸出所述手部圖像中手部位置對應的大小特征圖，所述關鍵點位置獲取子模型輸出所述手部圖像中手部預設關鍵點對應的關鍵點位置特征圖；

通過預設手勢識別模型中的所述輸出子模型根據每幀手部圖像對應的所述手部位置特征圖，所述偏移量特征圖，所述大小特征圖，以及所述關鍵點位置特征圖輸出該幀手部圖像對應的所述手勢類別和所述指尖位置。