[發(fā)明專利]一種動(dòng)態(tài)手勢(shì)識(shí)別方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811128265.4
• 申請(qǐng)日: 2018-09-27
• 公開（公告）號(hào): CN110956059B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 楊嘉言;虞勇波;黃軒;王孝宇
• 申請(qǐng)（專利權(quán)）人: 深圳云天勵(lì)飛技術(shù)有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/774
• 代理公司: 深圳驛航知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44605
• 代理人: 楊倫

1.一種動(dòng)態(tài)手勢(shì)識(shí)別方法，其特征在于，包括：

通過第一線程對(duì)攝像頭拍攝到的視頻進(jìn)行采樣，并將當(dāng)前采樣到的圖像幀放入長度為T的幀隊(duì)列，以及將當(dāng)前采樣到的圖像幀放入長度為N的處理列表，其中，所述T為大于或者等于1的整數(shù)；通過主線程延遲預(yù)設(shè)時(shí)間顯示所述幀隊(duì)列的第一個(gè)圖像幀，其中，所述N為對(duì)應(yīng)一個(gè)手勢(shì)的幀數(shù)；

若所述處理列表存放有N個(gè)圖像幀，則通過第二線程將所述處理列表的當(dāng)前N個(gè)圖像幀輸入至預(yù)先訓(xùn)練好的TRN模型進(jìn)行預(yù)測(cè)，得到所述處理列表的當(dāng)前N個(gè)圖像幀的手勢(shì)類別，并將所述手勢(shì)類別，以及所述處理列表最后一個(gè)圖像幀以及其拍攝時(shí)間加入結(jié)果隊(duì)列；通過第三線程維護(hù)所述結(jié)果隊(duì)列，并向所述主線程返回所述結(jié)果隊(duì)列中與顯示圖像幀的采集時(shí)間最近的手勢(shì)類別，其中，所述顯示圖像幀為所述主線程當(dāng)前顯示的圖像幀，其中，所述TRN模型在預(yù)測(cè)過程中融合有所述N幀圖像幀的時(shí)間關(guān)系。

2.如權(quán)利要求1所述的方法，其特征在于，所述TRN模型的訓(xùn)練過程包括如下：

獲取數(shù)據(jù)集，所述數(shù)據(jù)集包括屬于M個(gè)手勢(shì)類別的訓(xùn)練數(shù)據(jù)，每個(gè)訓(xùn)練數(shù)據(jù)包括N幀訓(xùn)練圖像，所述M為大于1的整數(shù)；

分別使用所述數(shù)據(jù)集內(nèi)的訓(xùn)練數(shù)據(jù)對(duì)所述TRN模型進(jìn)行訓(xùn)練，其中，每個(gè)訓(xùn)練數(shù)據(jù)訓(xùn)練過程中包括學(xué)習(xí)該訓(xùn)練數(shù)據(jù)內(nèi)多個(gè)訓(xùn)練圖像的時(shí)間關(guān)系。

3.如權(quán)利要求2所述的方法，其特征在于，所述獲取數(shù)據(jù)集，包括：

獲取數(shù)據(jù)集，刪除所述數(shù)據(jù)集中的至少一個(gè)手勢(shì)類別的訓(xùn)練數(shù)據(jù)，以及將刪除后的所述數(shù)據(jù)集中語義相似的手勢(shì)類別的訓(xùn)練數(shù)據(jù)進(jìn)行合并，以得到所述M個(gè)手勢(shì)類別，其中，所述語義相似的手勢(shì)類別為語義相似度大于預(yù)設(shè)相似度閾值的手勢(shì)類別。

4.如權(quán)利要求2所述的方法，其特征在于，所述獲取數(shù)據(jù)集，包括：

獲取數(shù)據(jù)集，刪除所述數(shù)據(jù)集中的至少一個(gè)手勢(shì)類別的訓(xùn)練數(shù)據(jù)，以得到所述M個(gè)手勢(shì)類別；

所述得到所述N幀圖像幀的手勢(shì)類別之后，所述方法還包括：

將所述N幀圖像幀的手勢(shì)類別轉(zhuǎn)換為目標(biāo)手勢(shì)類別，其中，所述目標(biāo)手勢(shì)類別包括所述M個(gè)手勢(shì)類別中的至少兩個(gè)手勢(shì)類別。

5.如權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，所述將所述N幀圖像幀輸入至預(yù)先訓(xùn)練好的TRN模型進(jìn)行預(yù)測(cè)，包括：

通過所述TRN模型從所述N幀圖像幀選取圖像幀，以得到多個(gè)圖像幀組，每組圖像幀組包括多個(gè)圖像幀；

通過所述TRN模型提取每個(gè)圖像幀組的圖像特征值，其中，每個(gè)圖像幀組的圖像特征值的提取過程中融合有該圖像幀組內(nèi)各圖像幀的時(shí)間關(guān)系，每圖像幀組內(nèi)各圖像幀的時(shí)間關(guān)系通過所述TRN模型學(xué)習(xí)得到；

通過所述TRN模型預(yù)測(cè)所述多個(gè)圖像幀組的圖像特征值對(duì)應(yīng)的手勢(shì)類別，以得到所述N幀圖像幀的手勢(shì)類別。

6.一種動(dòng)態(tài)手勢(shì)識(shí)別裝置，其特征在于，包括：

采樣模塊，用于通過第一線程對(duì)攝像頭拍攝到的視頻進(jìn)行采樣，并將當(dāng)前采樣到的圖像幀放入長度為T的幀隊(duì)列，以及將當(dāng)前采樣到的圖像幀放入長度為N的處理列表，其中，所述T為大于或者等于1的整數(shù)；通過主線程延遲預(yù)設(shè)時(shí)間顯示所述幀隊(duì)列的第一個(gè)圖像幀，其中，所述N為對(duì)應(yīng)一個(gè)手勢(shì)的幀數(shù)；

預(yù)測(cè)模塊，用于若所述處理列表存放有N個(gè)圖像幀，則通過第二線程將所述處理列表的當(dāng)前N個(gè)圖像幀輸入至預(yù)先訓(xùn)練好的TRN模型進(jìn)行預(yù)測(cè)，得到所述處理列表的當(dāng)前N個(gè)圖像幀的手勢(shì)類別，并將所述手勢(shì)類別，以及所述處理列表最后一個(gè)圖像幀以及其拍攝時(shí)間加入結(jié)果隊(duì)列；通過第三線程維護(hù)所述結(jié)果隊(duì)列，并向所述主線程返回所述結(jié)果隊(duì)列中與顯示圖像幀的采集時(shí)間最近的手勢(shì)類別，其中，所述顯示圖像幀為所述主線程當(dāng)前顯示的圖像幀，其中，所述TRN模型在預(yù)測(cè)過程中融合有所述N幀圖像幀的時(shí)間關(guān)系。

7.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的動(dòng)態(tài)手勢(shì)識(shí)別方法中的步驟。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的動(dòng)態(tài)手勢(shì)識(shí)別方法中的步驟。