[發(fā)明專利]一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法

在審

• 申請?zhí)枺?/td>: 202010601428.7
• 申請日: 2020-06-29
• 公開（公告）號: CN111753764A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 李雪;李銳;金長新
• 申請（專利權(quán)）人: 濟(jì)南浪潮高新科技投資發(fā)展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/02
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫晶偉

本發(fā)明公開一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法，涉及圖像識別技術(shù)領(lǐng)域；針對捕捉到的圖像進(jìn)行預(yù)處理，篩選關(guān)鍵幀圖像，識別關(guān)鍵幀圖像的手勢動作，判斷手勢動作為靜態(tài)手勢動作還是動態(tài)手勢動作，針對動態(tài)手勢動作利用光流的運(yùn)動補(bǔ)償進(jìn)行動作信息補(bǔ)償，利用手勢識別模型通過姿態(tài)估計(jì)算法解析關(guān)鍵幀圖像中靜態(tài)手勢動作，獲得靜態(tài)手勢動作的手部關(guān)鍵點(diǎn)，同時(shí)通過姿態(tài)估計(jì)算法解析關(guān)鍵幀圖像中動態(tài)手勢動作，并結(jié)合補(bǔ)償?shù)膭幼餍畔ⅲ@得動態(tài)手勢動作的手部關(guān)鍵點(diǎn)，進(jìn)行手勢動作的識別分類。

技術(shù)領(lǐng)域

本發(fā)明公開一種手勢識別方法，涉及圖像識別技術(shù)領(lǐng)域，具體地說是一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法。

背景技術(shù)

手勢交流通常在聽說障礙的人群中較為常見，然而，基于手勢的人機(jī)交互系統(tǒng)具有多種應(yīng)用場景。例如，體感游戲，手勢控制飛行器、機(jī)器人，或者特殊環(huán)境應(yīng)用，如不方便語音或不能直接接觸等。手勢識別為人機(jī)互動帶來便利。目前手勢識別的方式一種是基于可穿戴的電磁設(shè)備，比如特制手套等，主要應(yīng)用于電影動作捕捉等領(lǐng)域，另一種是利用計(jì)算機(jī)視覺技術(shù)，實(shí)現(xiàn)對手勢圖像的檢測、識別、分類等任務(wù)。但是現(xiàn)有的基于圖像特征提取的手勢識別通常表現(xiàn)不夠敏感，誤差較大，結(jié)果不如人意。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的問題，提供一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法，結(jié)合姿態(tài)估計(jì)方法提取手勢關(guān)鍵點(diǎn)特征完成動作識別，再利用模型壓縮及光流信息補(bǔ)償方法部署在邊緣設(shè)備端，提高實(shí)時(shí)性，避免識別卡頓等現(xiàn)象出現(xiàn)。

本發(fā)明提出的具體方案是：

一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法，針對捕捉到的圖像進(jìn)行預(yù)處理，篩選關(guān)鍵幀圖像，識別關(guān)鍵幀圖像的手勢動作，

判斷手勢動作為靜態(tài)手勢動作還是動態(tài)手勢動作，

針對動態(tài)手勢動作利用光流的運(yùn)動補(bǔ)償進(jìn)行動作信息補(bǔ)償，

利用手勢識別模型通過姿態(tài)估計(jì)算法解析關(guān)鍵幀圖像中靜態(tài)手勢動作，獲得靜態(tài)手勢動作的手部關(guān)鍵點(diǎn)，同時(shí)通過姿態(tài)估計(jì)算法解析關(guān)鍵幀圖像中動態(tài)手勢動作，并結(jié)合補(bǔ)償?shù)膭幼餍畔ⅲ@得動態(tài)手勢動作的手部關(guān)鍵點(diǎn)，進(jìn)行手勢動作的識別分類。

所述的一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法中關(guān)鍵幀圖像中位置變化范圍小于閾值的動作序列組合的動作為靜態(tài)手勢動作，關(guān)鍵幀圖像中位置變化范圍在閾值以上的動作序列組合的動作為動態(tài)手部動作。

所述的一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法中根據(jù)關(guān)鍵幀圖像，從上一個(gè)關(guān)鍵幀圖像開始到下一個(gè)關(guān)鍵幀圖像的前一幀作為一個(gè)動作序列組合。

所述的一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法中針對手勢識別模型進(jìn)行邊訓(xùn)練邊量化的壓縮處理。

所述的一種邊緣端基于姿態(tài)估計(jì)的手勢識別方法中手勢識別模型為神經(jīng)網(wǎng)絡(luò)模型。

一種邊緣端基于姿態(tài)估計(jì)的手勢識別系統(tǒng)，包括預(yù)處理模塊、判斷模塊、補(bǔ)償模塊及模型識別模塊，

預(yù)處理模塊針對捕捉到的圖像進(jìn)行預(yù)處理，篩選關(guān)鍵幀圖像，識別關(guān)鍵幀圖像的手勢動作，

判斷模塊判斷手勢動作為靜態(tài)手勢動作還是動態(tài)手勢動作，

補(bǔ)償模塊針對動態(tài)手勢動作利用光流的運(yùn)動補(bǔ)償進(jìn)行動作信息補(bǔ)償，

模型識別模塊利用手勢識別模型通過姿態(tài)估計(jì)算法解析關(guān)鍵幀圖像中靜態(tài)手勢動作，獲得靜態(tài)手勢動作的手部關(guān)鍵點(diǎn)，同時(shí)通過姿態(tài)估計(jì)算法解析關(guān)鍵幀圖像中動態(tài)手勢動作，并結(jié)合補(bǔ)償?shù)膭幼餍畔ⅲ@得動態(tài)手勢動作的手部關(guān)鍵點(diǎn)，進(jìn)行手勢動作的識別分類。

一種邊緣端基于姿態(tài)估計(jì)的手勢識別裝置，包括：至少一個(gè)存儲器和至少一個(gè)處理器；

所述至少一個(gè)存儲器，用于存儲機(jī)器可讀程序；