[發(fā)明專利]一種3D手勢識(shí)別方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011487530.5
• 申請日: 2020-12-16
• 公開（公告）號(hào): CN112507924A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 黃歡;史偉蘭;全世紅;王健;鄧明育
• 申請（專利權(quán)）人: 深圳荊虹科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 深圳倚智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44632
• 代理人: 霍如肖

本發(fā)明公開了一種3D手勢識(shí)別方法、裝置及系統(tǒng)，其中，所述3D手勢識(shí)別方法包括：提取ToF相機(jī)的原始數(shù)據(jù)進(jìn)行圖像預(yù)處理，生成第一圖像和第二圖像；根據(jù)預(yù)先建立的手勢檢測模型檢測第一圖像中是否具有手部生物特征：若存在，輸出具有手部生物特征區(qū)域的坐標(biāo)位置，若不存在，返回上一步驟；根據(jù)預(yù)先建立的手勢識(shí)別模型提取第二圖像中對(duì)應(yīng)手部坐標(biāo)位置的手勢特征，計(jì)算手勢特征對(duì)應(yīng)預(yù)定義手勢庫中每種手勢概率值；將全部手勢概率值進(jìn)行歸一化處理生成一個(gè)手勢識(shí)別索引號(hào)，將手勢識(shí)別索引號(hào)與預(yù)定義手勢庫匹配，匹配內(nèi)容輸出為識(shí)別結(jié)果。通過本發(fā)明的技術(shù)方案，能有效提高手勢識(shí)別的準(zhǔn)確性并實(shí)時(shí)反饋?zhàn)R別結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及生物識(shí)別領(lǐng)域，特別涉及一種3D手勢識(shí)別方法、裝置及系統(tǒng)。

背景技術(shù)

計(jì)算機(jī)的出現(xiàn)，給人類生活帶來了極大的方便，提高了信息處理效率以及智能化程度，計(jì)算機(jī)人機(jī)交互也逐步地走進(jìn)人們生活，而手勢識(shí)別作為一種既簡潔，又直觀的人機(jī)交互方法，在很多領(lǐng)域都有著廣泛的應(yīng)用前景。

在通常的手勢識(shí)別方法中，要么直接對(duì)整個(gè)輸入圖片進(jìn)行分塊滑窗，訓(xùn)練分類模型(如支持向量機(jī)(SVM)、Boosting、Logistic回歸等)對(duì)滑窗提取的每一個(gè)圖像塊進(jìn)行分類，判斷其手勢類別，這些分類模型屬于淺層學(xué)習(xí)模型，學(xué)習(xí)與認(rèn)知能力有限，難以學(xué)習(xí)到具有代表性的特征，這些將導(dǎo)致手勢分類精度較低，且滑窗處理非常耗時(shí)，難以達(dá)到實(shí)時(shí)處理的效果；要么設(shè)計(jì)并訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器直接對(duì)整幅圖像進(jìn)行分類，此類方法雖能達(dá)到實(shí)時(shí)處理，但是分類精度極易受圖像背景影響，而且在實(shí)際使用過程中，很難保證手勢充滿整幅圖像，當(dāng)環(huán)境復(fù)雜時(shí)手勢分類精度下降非常明顯；要么是手勢識(shí)別方法在PC上識(shí)別精度高，當(dāng)移植到嵌入式設(shè)備時(shí)，因嵌入式設(shè)備計(jì)算、處理能力有限，需對(duì)手勢識(shí)別模型進(jìn)行量化處理，一般是將32位數(shù)據(jù)量化為16位或8位，此時(shí)識(shí)別精度損失較大，移植后難以保證與PC上同等的識(shí)別精度。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種3D手勢識(shí)別方法、裝置及系統(tǒng)，通過ToF相機(jī)采集精度高的手勢目標(biāo)，通過對(duì)圖像進(jìn)行預(yù)處理分割出識(shí)別度高的手部區(qū)域圖像，通過搭建輕量級(jí)的手勢檢測神經(jīng)網(wǎng)絡(luò)和分類識(shí)別神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算、從而縮短檢測和識(shí)別的時(shí)間，能有效提高手勢識(shí)別的準(zhǔn)確性并實(shí)時(shí)反饋?zhàn)R別結(jié)果。

本發(fā)明解決其技術(shù)問題提供的技術(shù)方案如下：

提供一種3D手勢識(shí)別方法，包括：

提取ToF相機(jī)的原始數(shù)據(jù)進(jìn)行圖像預(yù)處理，生成第一圖像和第二圖像。圖像預(yù)處理具體包括如下步驟：

(1)提取ToF相機(jī)的紅外數(shù)據(jù)進(jìn)行圖像歸一化處理至8位，生成第一圖像，8位圖像在移植到嵌入式設(shè)備時(shí)也能兼容并快速處理；

(2)提取ToF相機(jī)中與紅外數(shù)據(jù)同步的點(diǎn)云數(shù)據(jù)進(jìn)行圖像歸一化處理至8位，生成深度圖像；

(3)遍歷深度圖像中的每一個(gè)像素點(diǎn)，取得最小像素值、計(jì)算平均像素值，將像素值在最小值和平均值的三分之一之間的像素點(diǎn)設(shè)置為255，將其余像素點(diǎn)設(shè)置為0，生成二值化掩膜圖像，以屏蔽圖像中的不相關(guān)背景，分割并提取出圖像中感興趣的部分；

(4)將深度圖像與二值化掩膜圖像進(jìn)行像素級(jí)加權(quán)平均融合生成第二圖像，通過圖像融合處理，能增強(qiáng)原始圖像中興趣點(diǎn)區(qū)域，識(shí)別精度高。

進(jìn)一步地，根據(jù)預(yù)先建立的手勢檢測模型檢測第一圖像中是否具有手部生物特征：若存在，輸出具有手部生物特征區(qū)域的坐標(biāo)位置；若不存在，則返回上一步驟繼續(xù)提取數(shù)據(jù)進(jìn)行圖像預(yù)處理。其中，預(yù)先建立手勢檢測模型包括：

(1)采用適用于移動(dòng)端的輕量級(jí)目標(biāo)檢測網(wǎng)絡(luò)MobileNet-SSD為主干網(wǎng)絡(luò)，MobileNet-SSD是以MobileNet為基礎(chǔ)的目標(biāo)檢測算法，繼承了MobileNet預(yù)測速度快，易于部署的特點(diǎn)，能夠很好的在多種設(shè)備上完成圖像目標(biāo)檢測任務(wù)；