[發(fā)明專利]動(dòng)態(tài)手勢識別方法及裝置

有效

• 申請?zhí)枺?/td>: 201711417801.8
• 申請日: 2017-12-22
• 公開（公告）號: CN109960980B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 王權(quán);錢晨
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20
• 代理公司: 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種動(dòng)態(tài)手勢識別方法，其特征在于，包括：

對待檢測視頻流中的動(dòng)態(tài)手勢進(jìn)行定位，得到動(dòng)態(tài)手勢框；

從所述視頻流的多幀圖像幀中截取與所述動(dòng)態(tài)手勢框?qū)?yīng)的圖像塊；

基于截取出的各圖像塊生成檢測序列；

根據(jù)所述檢測序列進(jìn)行動(dòng)態(tài)手勢識別；

多次截取出檢測序列，并多次生成圖像差序列，以及多次根據(jù)檢測序列和圖像差序列進(jìn)行動(dòng)態(tài)手勢識別；

根據(jù)每次動(dòng)態(tài)手勢識別出的動(dòng)態(tài)手勢類型的概率，確定出最終的動(dòng)態(tài)手勢識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對待檢測視頻流中的動(dòng)態(tài)手勢進(jìn)行定位，得到動(dòng)態(tài)手勢框，包括：

對所述多幀圖像中的至少一幀進(jìn)行靜態(tài)手勢定位，得到所述至少一幀的靜態(tài)手勢框；

根據(jù)所述得到的所述至少一幀的靜態(tài)手勢框確定所述動(dòng)態(tài)手勢框。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述得到的所述至少一幀的靜態(tài)手勢框確定所述動(dòng)態(tài)手勢框，包括：

對所述至少一幀的靜態(tài)手勢框進(jìn)行放大處理，得到所述動(dòng)態(tài)手勢框。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述多幀圖像幀中各圖像幀的靜態(tài)手勢框滿足：

靜態(tài)手勢框位于所述動(dòng)態(tài)手勢框內(nèi)，或者，靜態(tài)手勢框與動(dòng)態(tài)手勢框相同。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述檢測序列進(jìn)行動(dòng)態(tài)手勢識別，包括：

確定所述檢測序列中多個(gè)幀間圖像差；

基于確定的多個(gè)幀間圖像差生成圖像差序列；

根據(jù)所述檢測序列和所述圖像差序列識別進(jìn)行動(dòng)態(tài)手勢識別。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述幀間圖像差為所述檢測序列中兩個(gè)相鄰參考幀之間的圖像差。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)所述檢測序列和所述圖像差序列識別進(jìn)行動(dòng)態(tài)手勢識別，包括：

將所述檢測序列輸入第一動(dòng)態(tài)手勢識別模型，以獲得所述第一動(dòng)態(tài)手勢識別模型輸出的第一動(dòng)態(tài)手勢類別預(yù)測概率；

將所述圖像差序列輸入第二動(dòng)態(tài)手勢識別模型，以獲得所述第二動(dòng)態(tài)手勢識別模型輸出的第二動(dòng)態(tài)手勢類別預(yù)測概率；

根據(jù)所述第一動(dòng)態(tài)手勢類別預(yù)測概率和所述第二動(dòng)態(tài)手勢類別預(yù)測概率，確定動(dòng)態(tài)手勢識別結(jié)果。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述第一動(dòng)態(tài)手勢識別模型為第一神經(jīng)網(wǎng)絡(luò)，所述第二動(dòng)態(tài)手勢識別模型為第二神經(jīng)網(wǎng)絡(luò)，所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相同或不同。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，還包括：采用以下方法建立所述第一動(dòng)態(tài)手勢識別模型：

采集不同類型動(dòng)態(tài)手勢的樣本視頻流；

對所述不同類型動(dòng)態(tài)手勢的動(dòng)態(tài)手勢框進(jìn)行標(biāo)記；

從樣本視頻流的多幀圖像幀中截取與動(dòng)態(tài)手勢框的標(biāo)注信息對應(yīng)的圖像塊，構(gòu)成圖像序列；

以所述動(dòng)態(tài)手勢類型作為監(jiān)督數(shù)據(jù)，以所述圖像序列作為訓(xùn)練數(shù)據(jù)，訓(xùn)練所述第一動(dòng)態(tài)手勢識別模型。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述以所述動(dòng)態(tài)手勢類型作為監(jiān)督數(shù)據(jù)，以所述圖像序列作為訓(xùn)練數(shù)據(jù)，訓(xùn)練所述第一動(dòng)態(tài)手勢識別模型，包括：

將所述圖像序列分為數(shù)段；

在每一段中抽取出預(yù)置幀數(shù)的圖像，堆疊組成圖像訓(xùn)練數(shù)據(jù)；

以所述動(dòng)態(tài)手勢類型作為監(jiān)督數(shù)據(jù)，以所述圖像訓(xùn)練數(shù)據(jù)訓(xùn)練出所述第一動(dòng)態(tài)手勢識別模型。