[發(fā)明專利]手勢(shì)識(shí)別及手勢(shì)識(shí)別網(wǎng)絡(luò)的訓(xùn)練方法和裝置、介質(zhì)和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011426908.0
• 申請(qǐng)日: 2020-12-09
• 公開（公告）號(hào): CN112527113A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 徐亮;竇宇豪;杜敏;徐根利
• 申請(qǐng)（專利權(quán)）人: 北京地平線信息技術(shù)有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種手勢(shì)識(shí)別方法，包括：

對(duì)圖像序列中第一圖像中手部的圖像進(jìn)行特征提取，得到第一特征；

基于所述第一特征預(yù)測(cè)手部關(guān)鍵點(diǎn)，得到第一關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果；

基于所述第一特征和至少一個(gè)第二特征、以及所述第一關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果和至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果進(jìn)行手勢(shì)識(shí)別，得到手勢(shì)識(shí)別結(jié)果；

其中，所述至少一個(gè)第二特征為對(duì)所述圖像序列中所述第一圖像鄰近的至少一個(gè)第二圖像中所述手部的圖像進(jìn)行特征提取對(duì)應(yīng)得到的特征，所述至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果為基于所述至少一個(gè)第二特征預(yù)測(cè)手部關(guān)鍵點(diǎn)對(duì)應(yīng)得到的關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述第一特征和至少一個(gè)第二特征、以及所述第一關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果和至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果進(jìn)行手勢(shì)識(shí)別，得到手勢(shì)識(shí)別結(jié)果，包括：

將所述第一特征和至少一個(gè)第二特征基于時(shí)序拼接，得到拼接特征；

將所述第一關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果和至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果基于時(shí)序拼接，得到拼接關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果；

基于所述拼接特征和所述拼接關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果進(jìn)行手勢(shì)識(shí)別，得到所述手勢(shì)識(shí)別結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述基于所述拼接特征和所述拼接關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果進(jìn)行手勢(shì)識(shí)別，包括：

將所述拼接特征和所述拼接關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果進(jìn)行特征融合，得到融合特征；

基于所述融合特征進(jìn)行手勢(shì)識(shí)別，得到所述手勢(shì)識(shí)別結(jié)果。

4.根據(jù)權(quán)利要求2或3所述的方法，還包括：

依次檢測(cè)所述第一圖像和所述至少一個(gè)第二圖像中的手部；

對(duì)檢測(cè)到的手部的檢測(cè)框進(jìn)行跟蹤，得到同一手部的檢測(cè)框形成的檢測(cè)框軌跡；

對(duì)所述檢測(cè)框軌跡設(shè)置用于標(biāo)識(shí)所述檢測(cè)框軌跡的軌跡標(biāo)識(shí)。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述對(duì)圖像序列中第一圖像中手部的圖像進(jìn)行特征提取，得到第一特征，包括：

對(duì)所述第一圖像中所述手部的檢測(cè)框進(jìn)行特征提取，得到第一特征；

所述方法還包括：

針對(duì)所述第一圖像中所述手部的檢測(cè)框的目標(biāo)軌跡標(biāo)識(shí)，分別獲取所述至少一個(gè)第二圖像中所述目標(biāo)軌跡標(biāo)識(shí)的檢測(cè)框的特征作為所述至少一個(gè)第二特征，以及分別獲取所述至少一個(gè)第二特征對(duì)應(yīng)的關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果作為所述至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果。

6.一種手勢(shì)識(shí)別網(wǎng)絡(luò)的訓(xùn)練方法，所述手勢(shì)識(shí)別網(wǎng)絡(luò)用于實(shí)現(xiàn)權(quán)利要求1-5任一所述手勢(shì)識(shí)別方法，所述手勢(shì)識(shí)別網(wǎng)絡(luò)包括：用于進(jìn)行特征提取的第一神經(jīng)網(wǎng)絡(luò)、用于預(yù)測(cè)手部關(guān)鍵點(diǎn)的第二神經(jīng)網(wǎng)絡(luò)、和用于進(jìn)行手勢(shì)識(shí)別的第三神經(jīng)網(wǎng)絡(luò)；所述方法包括：

將樣本圖像序列輸入所述手勢(shì)識(shí)別網(wǎng)絡(luò)；

獲取所述第二神經(jīng)網(wǎng)絡(luò)輸出的、所述樣本圖像序列中第一樣本圖像對(duì)應(yīng)的第一關(guān)鍵點(diǎn)預(yù)測(cè)信息，以及所述第三神經(jīng)網(wǎng)絡(luò)輸出的、所述第一樣本圖像對(duì)應(yīng)的第一手勢(shì)識(shí)別信息；

獲取所述第一關(guān)鍵點(diǎn)預(yù)測(cè)信息與第一樣本圖像標(biāo)注的關(guān)鍵點(diǎn)標(biāo)注信息之間的第一差異，以及所述第一手勢(shì)識(shí)別信息與所述第一樣本圖像標(biāo)注的手勢(shì)類別信息之間的第二差異；

基于所述第一差異和所述第二差異，對(duì)所述手勢(shì)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

7.一種手勢(shì)識(shí)別裝置，包括：

特征提取模塊，用于對(duì)圖像序列中第一圖像中手部的圖像進(jìn)行特征提取，得到第一特征；

關(guān)鍵點(diǎn)預(yù)測(cè)模塊，用于基于所述特征提取模塊得到的所述第一特征預(yù)測(cè)手部關(guān)鍵點(diǎn)，得到第一關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果；

手勢(shì)識(shí)別模塊，用于基于所述特征提取模塊得到的第一特征和至少一個(gè)第二特征、以及所述關(guān)鍵點(diǎn)預(yù)測(cè)模塊得到的所述第一關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果和至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果，進(jìn)行手勢(shì)識(shí)別，得到手勢(shì)識(shí)別結(jié)果；

其中，所述至少一個(gè)第二特征為對(duì)所述圖像序列中所述第一圖像鄰近的至少一個(gè)第二圖像中所述手部的圖像進(jìn)行特征提取對(duì)應(yīng)得到的特征，所述至少一個(gè)第二關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果為基于所述至少一個(gè)第二特征預(yù)測(cè)手部關(guān)鍵點(diǎn)對(duì)應(yīng)得到的關(guān)鍵點(diǎn)預(yù)測(cè)結(jié)果。