[發(fā)明專利]手勢(shì)識(shí)別方法、系統(tǒng)、介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110485424.1
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113011403A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 韋天健;王忱
• 申請(qǐng)（專利權(quán)）人: 恒睿（重慶）人工智能技術(shù)研究院有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/13
• 代理公司: 北京瀚仁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11482
• 代理人: 屠曉旭;宋寶庫

1.一種手勢(shì)識(shí)別方法，其特征在于，所述方法包括：

獲取在不同場(chǎng)景下不同類別手勢(shì)的視頻；

針對(duì)每類手勢(shì)，從每類手勢(shì)對(duì)應(yīng)的每個(gè)場(chǎng)景下的視頻中分別采集多幀圖像，根據(jù)每幀所述圖像中關(guān)于手勢(shì)的圖像特征與所述手勢(shì)的類別生成每幀所述圖像的圖像標(biāo)簽，以及根據(jù)每幀所述圖像以及相應(yīng)的圖像標(biāo)簽構(gòu)建每類手勢(shì)的手勢(shì)識(shí)別訓(xùn)練集；

采用每類手勢(shì)的手勢(shì)識(shí)別訓(xùn)練集對(duì)分類識(shí)別模型進(jìn)行訓(xùn)練，以獲取手勢(shì)分類識(shí)別模型；

采用所述手勢(shì)分類識(shí)別模型對(duì)待檢測(cè)圖像進(jìn)行手勢(shì)識(shí)別。

2.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于，在“根據(jù)每幀所述圖像中關(guān)于手勢(shì)的圖像特征與所述手勢(shì)的類別生成每幀所述圖像的圖像標(biāo)簽”的步驟之前，所述手勢(shì)識(shí)別方法還包括：

將所述采集的多幀圖像輸入至手部關(guān)鍵點(diǎn)檢測(cè)模型，分別獲得每幀所述圖像中每個(gè)手部的手部關(guān)鍵點(diǎn)的位置信息；

將所述手部關(guān)鍵點(diǎn)的位置信息作為所述關(guān)于手勢(shì)的圖像特征；

或者，

在“根據(jù)每幀所述圖像中關(guān)于手勢(shì)的圖像特征與所述手勢(shì)的類別生成每幀所述圖像的圖像標(biāo)簽”的步驟之前，所述方法還包括：

采用手部形狀檢測(cè)模型分別對(duì)每幀所述圖像中的每個(gè)手部進(jìn)行手部邊緣檢測(cè)，以獲取每個(gè)手部的形狀特征；

將所述手部的形狀特征作為所述關(guān)于手勢(shì)的圖像特征。

3.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于，“從每類手勢(shì)對(duì)應(yīng)的每個(gè)場(chǎng)景下的視頻中分別采集多幀圖像”的步驟具體為：

按照預(yù)設(shè)的時(shí)間間隔對(duì)每個(gè)場(chǎng)景下的視頻分別進(jìn)行多次圖像采集，獲得每個(gè)場(chǎng)景下的視頻對(duì)應(yīng)的多幀圖像。

4.根據(jù)權(quán)利要求2所述的手勢(shì)識(shí)別方法，其特征在于，所述手勢(shì)分類識(shí)別模型為基于YOLO模型構(gòu)建的分類識(shí)別模型或者所述手勢(shì)分類識(shí)別模型為基于SSD模型構(gòu)建的分類識(shí)別模型或者所述手勢(shì)分類識(shí)別模型為基于Faster-RCNN模型構(gòu)建的分類識(shí)別模型；

并且/或者，

所述手部關(guān)鍵點(diǎn)檢測(cè)模型為基于SRHandNet構(gòu)建的檢測(cè)模型或者所述手部關(guān)鍵點(diǎn)檢測(cè)模型為基于openPose模型構(gòu)建的檢測(cè)模型。

5.一種手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括：

視頻獲取模塊，其用于獲取在不同場(chǎng)景下不同類別手勢(shì)的視頻；

訓(xùn)練集獲取模塊，其用于針對(duì)每類手勢(shì)，從每類手勢(shì)對(duì)應(yīng)的每個(gè)場(chǎng)景下的視頻中分別采集多幀圖像，根據(jù)每幀所述圖像中關(guān)于手勢(shì)的圖像特征與所述手勢(shì)的類別生成每幀所述圖像的圖像標(biāo)簽，以及根據(jù)每幀所述圖像以及相應(yīng)的圖像標(biāo)簽構(gòu)建每類手勢(shì)的手勢(shì)識(shí)別訓(xùn)練集；

模型訓(xùn)練模塊，其用于采用每類手勢(shì)的手勢(shì)識(shí)別訓(xùn)練集對(duì)分類識(shí)別模型進(jìn)行訓(xùn)練，以獲取手勢(shì)分類識(shí)別模型；

手勢(shì)識(shí)別模塊，其用于采用所述手勢(shì)分類識(shí)別模型對(duì)待檢測(cè)圖像進(jìn)行手勢(shì)識(shí)別。

6.根據(jù)權(quán)利要求5所述的手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述訓(xùn)練集獲取模塊包括第一圖像特征獲取子模塊和/或第二圖像特征獲取子模塊；

所述第一圖像特征獲取子模塊包括：

關(guān)鍵點(diǎn)獲取單元，其用于將所述采集的多幀圖像輸入至手部關(guān)鍵點(diǎn)檢測(cè)模型，分別獲得每幀所述圖像中每個(gè)手部的手部關(guān)鍵點(diǎn)的位置信息；

圖像特征獲取單元，其用于將所述手部關(guān)鍵點(diǎn)的位置信息作為所述關(guān)于手勢(shì)的圖像特征；

所述第二圖像特征獲取子模塊包括：

手部形狀檢測(cè)單元，其用于采用手部形狀檢測(cè)模型分別對(duì)每幀所述圖像中的每個(gè)手部進(jìn)行手部邊緣檢測(cè)，以獲取每個(gè)手部的形狀特征；

圖像特征獲取單元，其用于將所述手部的形狀特征作為所述關(guān)于手勢(shì)的圖像特征。

7.根據(jù)權(quán)利要求5所述的手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述訓(xùn)練集獲取模塊包括圖像采集子模塊，所述圖像采集子模塊用于按照預(yù)設(shè)的時(shí)間間隔對(duì)每個(gè)場(chǎng)景下的視頻分別進(jìn)行多次圖像采集，獲得每個(gè)場(chǎng)景下的視頻對(duì)應(yīng)的多幀圖像。