[發(fā)明專利]一種動態(tài)手勢識別方法、裝置和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201811128265.4
• 申請日: 2018-09-27
• 公開（公告）號: CN110956059B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 楊嘉言;虞勇波;黃軒;王孝宇
• 申請（專利權(quán)）人: 深圳云天勵飛技術(shù)有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774
• 代理公司: 深圳驛航知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44605
• 代理人: 楊倫

本發(fā)明實施例提供一種動態(tài)手勢識別方法、裝置和電子設(shè)備，該方法包括：從攝像頭拍攝到的視頻中采樣N幀圖像幀，其中，所述N為對應(yīng)一個手勢的幀數(shù)；將所述N幀圖像幀輸入至預(yù)先訓練好的時間關(guān)系推理TRN模型進行預(yù)測，得到所述N幀圖像幀的手勢類別，其中，所述TRN模型在預(yù)測過程中融合有所述N幀圖像幀的時間關(guān)系。本發(fā)明實施例可以降低動態(tài)手勢識別的計算量，以提高手勢識別的識別效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，尤其涉及一種動態(tài)手勢識別方法、裝置和電子設(shè)備。

背景技術(shù)

手勢作為一種不需要中間媒介、非常人性化的人機交互方式，使人們無需輸入設(shè)備，即可通過手勢向計算機發(fā)布指令，增加了用戶與計算機的交互性與用戶體驗。其中，手勢可以分為靜態(tài)手勢與動態(tài)手勢兩種，靜態(tài)手勢識別是識別一些靜態(tài)的如手掌、拳頭等特定的手型，通常采用模版匹配的方法。在日常生活中，人們使用更多的是動態(tài)手勢，比如左右揮手、前推后拉、上下移動等。目前主要是基于卷積神經(jīng)網(wǎng)絡(luò)的動態(tài)手勢識別，然而，該動態(tài)手勢識別技術(shù)在識別動態(tài)手勢時，需要提取圖像的光流信息或者深度信息，導(dǎo)致計算量大。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種動態(tài)手勢識別方法、裝置和電子設(shè)備，以降低動態(tài)手勢識別的計算量。

第一方面，本發(fā)明實施例提供一種動態(tài)手勢識別方法，包括：

從攝像頭拍攝到的視頻中采樣N幀圖像幀，其中，所述N為對應(yīng)一個手勢的幀數(shù)；

將所述N幀圖像幀輸入至預(yù)先訓練好的時間關(guān)系網(wǎng)絡(luò)(Temporal?RelationNetwork，TRN)模型進行預(yù)測，得到所述N幀圖像幀的手勢類別，其中，所述TRN模型在預(yù)測過程中融合有所述N幀圖像幀的時間關(guān)系。

可選的，所述TRN模型的訓練過程包括如下：

獲取數(shù)據(jù)集，所述數(shù)據(jù)集包括屬于M個手勢類別的訓練數(shù)據(jù)，每個訓練數(shù)據(jù)包括N幀訓練圖像，所述M為大于1的整數(shù)；

分別使用所述數(shù)據(jù)集內(nèi)的訓練數(shù)據(jù)對所述TRN模型進行訓練，其中，每個訓練數(shù)據(jù)訓練過程中包括學習該訓練數(shù)據(jù)內(nèi)多個訓練圖像的時間關(guān)系。

可選的，所述獲取數(shù)據(jù)集，包括：

獲取數(shù)據(jù)集，刪除所述數(shù)據(jù)集中的至少一個手勢類別的訓練數(shù)據(jù)，以及將刪除后的所述數(shù)據(jù)集中語義相似的手勢類別的訓練數(shù)據(jù)進行合并，以得到所述M個手勢類別，其中，所述語義相似的手勢類別為語義相似度大于預(yù)設(shè)相似度閾值的手勢類別。

可選的，所述獲取數(shù)據(jù)集，包括：

獲取數(shù)據(jù)集，刪除所述數(shù)據(jù)集中的至少一個手勢類別的訓練數(shù)據(jù)，以得到所述M個手勢類別；

所述得到所述N幀圖像幀的手勢類別之后，所述方法還包括：

將所述N幀圖像幀的手勢類別轉(zhuǎn)換為目標手勢類別，其中，所述目標手勢類別包括所述M個手勢類別中的至少兩個手勢類別。

可選的，所述將所述N幀圖像幀輸入至預(yù)先訓練好的TRN模型進行預(yù)測，包括：

通過所述TRN模型從所述N幀圖像幀選取圖像幀，以得到多個圖像幀組，每組圖像幀組包括多個圖像幀；

通過所述TRN模型提取每個圖像幀組的圖像特征值，其中，每個圖像幀組的圖像特征值的提取過程中融合有該圖像幀組內(nèi)各圖像幀的時間關(guān)系，每圖像幀組內(nèi)各圖像幀的時間關(guān)系通過所述TRN模型學習得到；

通過所述TRN模型學習預(yù)測所述多個圖像幀組的圖像特征值對應(yīng)的手勢類別，以得到所述N幀圖像幀的手勢類別。

可選的，所述從攝像頭拍攝到的視頻中采樣N幀圖像幀，包括：