[發明專利]手勢識別方法、裝置、電子設備和存儲介質

有效

• 申請號: 201910210038.4
• 申請日: 2019-03-19
• 公開（公告）號: CN109948542B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 趙晨;楊少雄;高原
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/40
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種手勢識別方法，其特征在于，包括：

利用預設的手掌朝向識別模型，對目標視頻幀的各圖像依次進行識別處理，確定每幀圖像中包含手掌圖像的概率及每幀圖像對應的手掌法向量；

根據各幀圖像中包含手掌圖像的概率，確定所述目標視頻幀中包括的目標圖像組；

根據所述目標圖像組中每幀目標圖像對應的手掌法向量，確定所述每幀目標圖像中手掌的朝向，根據采集目標圖像組中每幀目標圖像的先后順序，以及所述每幀目標圖像中手掌的朝向，確定在采集目標視頻幀的時間段內手掌的朝向變化，根據所述手掌的朝向變化確定所述目標視頻幀對應的目標手勢；

在所述確定目標視頻幀對應的目標手勢后，所述方法還包括：

判斷所述目標手勢與預設的手勢是否匹配；

當所述目標手勢與任一所述預設的手勢匹配時，根據任一所述預設的手勢對應的控制指令對電子設備進行控制。

2.如權利要求1所述的方法，其特征在于，所述根據各幀圖像中包含手掌圖像的概率，確定所述目標視頻幀中包括的目標圖像組，包括：

若第一幀圖像中包含手掌圖像的概率大于或等于閾值，則確定所述第一幀圖像為目標圖像組中的圖像。

3.如權利要求1所述的方法，其特征在于，所述預設的手掌朝向識別模型是用如下方法訓練的：

獲取訓練數據集，其中，所述訓練數據集中包括：手掌圖像、非手掌圖像，及每個手掌圖像對應的手掌法向量；

利用所述訓練數據集，對初始網絡模型進行訓練，以生成所述預設的手掌朝向識別模型。

4.如權利要求3所述的方法，其特征在于，所述獲取訓練數據集之后，還包括：

將每個手掌圖像對應的手掌法向量進行歸一化處理，確定每個手掌圖像對應的單位法向量。

5.如權利要求1-4任一所述的方法，其特征在于，所述確定所述目標視頻幀對應的目標手勢之后，還包括：

若所述目標手勢與任一預設的手勢匹配，則根據所述任一預設的手勢對應的控制指令對電子設備進行控制。

6.一種手勢識別裝置，其特征在于，包括：

第一確定模塊，用于利用預設的手掌朝向識別模型，對目標視頻幀的各圖像依次進行識別處理，確定每幀圖像中包含手掌圖像的概率及每幀圖像對應的手掌法向量；

第二確定模塊，用于根據各幀圖像中包含手掌圖像的概率，確定所述目標視頻幀中包括的目標圖像組；

第三確定模塊，用于根據所述目標圖像組中每幀目標圖像對應的手掌法向量，確定所述每幀目標圖像中手掌的朝向，根據采集目標圖像組中每幀目標圖像的先后順序，以及所述每幀目標圖像中手掌的朝向，確定在采集目標視頻幀的時間段內手掌的朝向變化，根據所述手掌的朝向變化確定所述目標視頻幀對應的目標手勢；

控制模塊，用于判斷所述目標手勢與預設的手勢是否匹配；當所述目標手勢與任一所述預設的手勢匹配時，根據任一所述預設的手勢對應的控制指令對電子設備進行控制。

7.如權利要求6所述的裝置，其特征在于，所述第二確定模塊，具體用于：

當第一幀圖像中包含手掌圖像的概率大于或等于閾值時，確定所述第一幀圖像為目標圖像組中的圖像。

8.如權利要求6所述的裝置，其特征在于，所述預設的手掌朝向識別模型是用如下模塊訓練的：

獲取模塊，用于獲取訓練數據集，其中，所述訓練數據集中包括：手掌圖像、非手掌圖像，及每個手掌圖像對應的手掌法向量；

訓練模塊，用于利用所述訓練數據集，對初始網絡模型進行訓練，以生成所述預設的手掌朝向識別模型。

9.如權利要求8所述的裝置，其特征在于，用于訓練所述預設的手掌朝向識別模型的模塊，還包括：

第四確定模塊，用于將每個手掌圖像對應的手掌法向量進行歸一化處理，確定每個手掌圖像對應的單位法向量。