[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910561307.1
• 申請日: 2019-06-26
• 公開（公告）號: CN111860086A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 伍穗穎;柯茂旭;張碩
• 申請（專利權(quán)）人: 廣州凡拓數(shù)字創(chuàng)意科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06F3/01
• 代理公司: 北京律和信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11446
• 代理人: 冷文燕;劉興

1.一種基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別方法，包括：

基于深度神經(jīng)網(wǎng)絡(luò)檢測來自攝像頭的手勢圖片的手勢類型和手勢參數(shù)；

基于所述手勢類型和手勢參數(shù)提取所述手勢圖片的感興趣區(qū)域；

獲取來自Kinect攝像頭的手勢識別模型；

利用所述手勢識別模型識別所述感興趣區(qū)域的手勢得到第一手勢識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

將所述第一手勢識別結(jié)果與利用Kinect攝像頭根據(jù)手部骨骼信息得到的第二手勢識別結(jié)果加權(quán)得到最終識別結(jié)果。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于深度神經(jīng)網(wǎng)絡(luò)檢測來自攝像頭的手勢圖片的手勢類型和手勢參數(shù)，包括：

獲取來自攝像頭的手勢圖片；

對所述手勢圖片進行處理和標(biāo)注得到手勢圖片的特征；

基于所述手勢圖片的特征對深度神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，得到所述手勢類型和手勢參數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述手勢識別模型通過以下步驟獲取：

所述Kinect攝像頭的視覺手勢生成器獲取手勢文件；

對所述手勢文件添加剪輯及標(biāo)記生成手勢數(shù)據(jù)集；

基于所述手勢數(shù)據(jù)集，訓(xùn)練得到所述手勢識別模型。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述Kinect攝像頭的視覺手勢生成器獲取手勢文件中，所述手勢文件通過所述Kinect攝像頭錄制剪輯手勢視頻并將所述手勢視頻轉(zhuǎn)換為所述視覺手勢生成器能識別的手勢文件。

6.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述手勢數(shù)據(jù)集，訓(xùn)練得到所述手勢識別模型，包括：

基于所述手勢數(shù)據(jù)集的手勢特征，訓(xùn)練得到弱分類器；

加權(quán)組合所述弱分類器得到強分類器；

選取識別率高于識別閾值的所述強分類器作為所述手勢識別模型。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述利用所述手勢識別模型識別所述感興趣區(qū)域的手勢得到第一手勢識別結(jié)果，包括：

獲取所述感興趣區(qū)域的手勢的手勢特征集；

對所述手勢特征集進行數(shù)據(jù)分割得到手勢分類數(shù)據(jù)；

利用所述手勢識別模型識別所述手勢分類數(shù)據(jù)得到所述第一手勢識別結(jié)果。

8.一種基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別裝置，包括：

手勢檢測單元，基于深度神經(jīng)網(wǎng)絡(luò)檢測來自攝像頭的手勢圖片的手勢類型和手勢參數(shù)；

區(qū)域提取單元，基于所述手勢類型和手勢參數(shù)提取所述手勢圖片的感興趣區(qū)域；

模型獲取單元，獲取來自Kinect攝像頭的手勢識別模型；

手勢識別單元，利用所述手勢識別模型識別所述感興趣區(qū)域的手勢得到第一手勢識別結(jié)果。

9.根據(jù)權(quán)利要求8所述的裝置，還包括：

加權(quán)識別單元，將所述第一手勢識別結(jié)果與利用Kinect攝像頭根據(jù)手部骨骼信息得到的第二手勢識別結(jié)果加權(quán)得到最終識別結(jié)果。

所述手勢檢測單元包括：

圖片獲取單元，獲取來自攝像頭的手勢圖片；

圖片處理單元，對所述手勢圖片進行處理和標(biāo)注得到手勢圖片的特征；

模型檢測單元，基于所述手勢圖片的特征對深度神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，得到所述手勢類型和手勢參數(shù)。

所述手勢識別單元包括：

手勢特征集獲取單元，獲取所述感興趣區(qū)域的手勢的手勢特征集；

分割單元，對所述手勢特征集進行數(shù)據(jù)分割得到手勢分類數(shù)據(jù)；

識別單元，利用所述手勢識別模型識別所述手勢分類數(shù)據(jù)得到所述第一手勢識別結(jié)果。

10.一種基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別系統(tǒng)，包括：

攝像頭，獲取手勢圖片；

Kinect攝像頭，生成手勢識別模型；

權(quán)利要求8至權(quán)利要求9任一項所述的基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別裝置。