[發(fā)明專利]基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的第一視角手勢識別與交互方法

有效

• 申請?zhí)枺?/td>: 201710273519.0
• 申請日: 2017-04-25
• 公開（公告）號: CN107168527B
• 公開（公告）日: 2019-10-18
• 發(fā)明（設(shè)計(jì)）人: 鄭曉旭;徐向民;殷瑞祥;蔡博侖
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 林梅繁

本發(fā)明公開了一種基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的第一視角手勢識別與交互方法，該方法包括如下步驟：S1、獲取訓(xùn)練數(shù)據(jù)；S2、設(shè)計(jì)一個(gè)基于區(qū)域神經(jīng)網(wǎng)絡(luò)，在用于手部檢測的同時(shí)，也用于手勢分類與指尖檢測，使得神經(jīng)網(wǎng)絡(luò)輸入為三通道RGB圖像，輸出為手勢區(qū)域的外接矩陣左上角坐標(biāo)和右下角坐標(biāo)，以及手勢類別、手勢骨架關(guān)鍵點(diǎn)；S3，判斷手勢類別，根據(jù)不同交互需求輸出相應(yīng)的交互結(jié)果。本發(fā)明提供了一種完整的第一視角手勢識別與交互方法，通過單模型訓(xùn)練與部分網(wǎng)絡(luò)共享，提高了第一視角下手勢識別的識別速度與準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)的技術(shù)領(lǐng)域，具體涉及一種基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的第一視角手勢識別與交互方法。

背景技術(shù)

隨著許多虛擬現(xiàn)實(shí)(Virtual Reality,VR)和增強(qiáng)現(xiàn)實(shí)(Augmenting Reality,AR)設(shè)備產(chǎn)品的推出，給人機(jī)交互方面研究的熱度又增加了不少。縱觀人體全身，手已經(jīng)被認(rèn)為是最重要和普遍的交互工具了。同時(shí)，在人機(jī)交互領(lǐng)域，手勢識別已經(jīng)是一個(gè)很重要的研究方向。而由于AR與VR的興起，第一視角(Egocentric Vision)手勢交互技術(shù)逐漸受到大家的關(guān)注，越來越多的學(xué)者及企業(yè)也紛紛投入人力物力去做相應(yīng)的研究與開發(fā)。

第一視角的手勢交互主要涉及兩個(gè)方面，手勢識別與骨架關(guān)鍵點(diǎn)定位。本發(fā)明將結(jié)合手勢識別與骨架點(diǎn)定位形成一個(gè)綜合應(yīng)用。假設(shè)如下場景：用戶在佩戴AR/VR設(shè)備的情況下，需要與設(shè)備中內(nèi)容做相應(yīng)交互，可以直接舉起手進(jìn)行特定的手勢動作，完成特定的交互操作而無需借助其他外接設(shè)備，大大提高了產(chǎn)品的用戶體驗(yàn)。

目前，由于數(shù)字?jǐn)z像頭的廣泛普及，基于圖像和視頻的手勢識別研究已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向之一。各種各樣的手勢識別的傳統(tǒng)方法也早已經(jīng)被提出來，例如隱馬爾科夫模型(HMM)、有限狀態(tài)機(jī)(FSM)、動態(tài)貝葉斯網(wǎng)絡(luò)(DBN)、動態(tài)時(shí)間規(guī)劃(DTW)和人工神經(jīng)網(wǎng)絡(luò)(ANN)。這些傳統(tǒng)方法模型通常是需要人工預(yù)定義特征，如尺度不變特征轉(zhuǎn)換(SIFT)、陳特征(SURF)、方向梯度直方圖(HOG)、傅里葉描述子等手形特征描述和基于光流、運(yùn)動跟蹤方法的手勢運(yùn)動信息描述，人工選擇特征的方法有很大的局限性，通常需要先驗(yàn)知識、經(jīng)驗(yàn)和大量的手工調(diào)整，而且算法模型的識別率容易因?yàn)槭謩莶僮魉俣取⒎较颉⑹中未笮〉牟町惍a(chǎn)生很大的影響。近年來新起的深度學(xué)習(xí)技術(shù)在特征選擇方面可以很好的解決上述問題。深度學(xué)習(xí)善于處理視覺信息，深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)能將圖像淺層特征通過層層非線性變化強(qiáng)化為高級深層特征，在各種視覺分類，回歸問題均能有極佳的表現(xiàn)。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)存在的上述不足，本發(fā)明提出基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的第一視角手勢識別與交互方法，以解決第一視角下，動態(tài)視頻流中手勢識別與關(guān)鍵骨節(jié)點(diǎn)精準(zhǔn)定位問題，并根據(jù)手勢識別結(jié)果及利用骨節(jié)點(diǎn)位置信息，實(shí)現(xiàn)一套手勢交互方案。

為了實(shí)現(xiàn)上述的目的，本發(fā)明提供如下的技術(shù)方案：基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的第一視角手勢識別與交互方法，包括以下步驟：

S1、獲取包括多種不同第一視角下的手勢的訓(xùn)練數(shù)據(jù)，人工標(biāo)定訓(xùn)練數(shù)據(jù)的標(biāo)簽，所述訓(xùn)練數(shù)據(jù)的標(biāo)簽包括手勢區(qū)域的外接矩陣左上角坐標(biāo)和右下角坐標(biāo)、人工標(biāo)定的手勢類別、人工標(biāo)定的關(guān)鍵骨架的坐標(biāo)點(diǎn)；

S2、設(shè)計(jì)一個(gè)基于區(qū)域卷積的神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)網(wǎng)絡(luò)輸入為三通道RGB圖像，輸出為手勢區(qū)域的外接矩陣左上角坐標(biāo)和右下角坐標(biāo)，以及手勢類別、手勢骨架關(guān)鍵點(diǎn)；

S3、判斷手勢類別，根據(jù)不同需求輸出相應(yīng)的交互結(jié)果；

S4、利用手勢判別結(jié)果進(jìn)行指令判別，作出相應(yīng)指令。