[發(fā)明專利]一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的手勢前置實時識別方法

有效

• 申請?zhí)枺?/td>: 202010122397.7
• 申請日: 2020-02-27
• 公開（公告）號: CN111444771B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 張弛;萬華根;韓曉霞
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06K9/62
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 彭劍

本發(fā)明公開了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的手勢前置實時識別方法，包括以下步驟：A、離線建模階段：leap motion采集手勢數(shù)據(jù)，對采集到的數(shù)據(jù)進(jìn)行預(yù)處理后提取手勢特征，獲得手勢的特征序列，將手勢特征序列和手勢類型輸入長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM訓(xùn)練獲得手勢分類器。B、在線手勢前置識別階段：leap motion實時采集手勢數(shù)據(jù)，處理手勢數(shù)據(jù)，計算當(dāng)前時間節(jié)點的手勢特征，加入特征序列，將當(dāng)前時間節(jié)點獲得特征序列輸入手勢分類器，如果分類器輸出預(yù)測概率大于95％，將此概率對應(yīng)手勢類型作為結(jié)果輸出。利用本發(fā)明，可以做到與人的視覺類似的動態(tài)識別和提前預(yù)測能力，不需要等待手勢全部完整表達(dá)完就可以實時識別出用戶試圖表達(dá)的手勢類型，效果理想。

技術(shù)領(lǐng)域

本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，尤其是涉及一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的手勢前置實時識別方法。

背景技術(shù)

手勢是一種很自然且直觀的交互手段，人類經(jīng)常有意識或無意識地使用手勢來表達(dá)和傳遞信息。在如今的信息時代，各種智能設(shè)備的出現(xiàn)和普及對人機(jī)交互技術(shù)提出了更高的要求，傳統(tǒng)的鍵鼠交互很難適應(yīng)越來越復(fù)雜的應(yīng)用場景，手勢交互正是在這樣一種需求下為人們所重視。手勢交互天生具有便捷、自然、表意豐富直接等優(yōu)勢，是人與機(jī)器交流的優(yōu)秀接口。

在手勢識別的實現(xiàn)上，手勢識別系統(tǒng)可分為基于接觸的系統(tǒng)和基于視覺的系統(tǒng)。基于接觸的系統(tǒng)通常利用物理交互獲取人體的運動特征，比如數(shù)據(jù)手套、加速度傳感器、多點觸摸屏等等。它的優(yōu)勢在于可以快速直接地獲得用戶數(shù)據(jù)，在很多領(lǐng)域也得到了廣泛的應(yīng)用，比如智能手機(jī)、平板等智能設(shè)備都普遍使用多點觸摸屏來獲取用戶手勢輸入，特別是當(dāng)下全面屏手機(jī)的推廣，手機(jī)越來越依賴手勢交互。基于視覺的系統(tǒng)通常使用一個或多個攝像頭捕獲人體運動信息并進(jìn)行分析以獲得手勢。早期的視覺系統(tǒng)經(jīng)常使用標(biāo)記物來定位手部，現(xiàn)在基本擺脫物理外設(shè)，僅借助攝像頭就可以檢測分析手勢，因此使用起來也更加便捷舒適。在商用領(lǐng)域，諸如kinect、leap motion等成熟的商業(yè)產(chǎn)品都已經(jīng)投入市場。

目前大部分手勢識別的工作都是針對完整手勢，即等待手勢完成后進(jìn)行識別，雖然可以取得較高的識別率，但這樣的流程不符合人的直覺。在人與人進(jìn)行交流時，接受方并不需要施展方完全做完手勢才開始識別，事實上施展方在表達(dá)手勢到一定程度時就開始預(yù)識別手勢，進(jìn)行合理的預(yù)測，在對方完全做完手勢前就已經(jīng)理解了對方所要表達(dá)的意圖。因此，手勢識別系統(tǒng)并不需要等用戶完整表達(dá)完手勢才開始識別，完全可以提前開始識別，這樣可以大大提高手勢識別的速度，而且更符合用戶的使用邏輯，減少用戶不必要的等待。

發(fā)明內(nèi)容

針對目前手勢識別存在的延遲、滯后問題，本發(fā)明提供了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的手勢前置實時識別方法，可以在手勢完成前實現(xiàn)識別，減少用戶在表達(dá)完意圖后等待系統(tǒng)做出反應(yīng)的時間。

一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的手勢前置實時識別方法，包括離線建模階段和在線手勢前置識別階段，具體步驟如下：

A、離線建模階段

(1)采集手勢數(shù)據(jù)，并對采集到的數(shù)據(jù)進(jìn)行預(yù)處理；

(2)選擇B樣條曲線擬合方程參數(shù)和角點信息作為手勢特征進(jìn)行提取，獲得手勢的特征序列；

(3)構(gòu)建長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM，將手勢特征序列和對應(yīng)的手勢類型輸入長短時記憶神經(jīng)網(wǎng)絡(luò)LSTM進(jìn)行訓(xùn)練，獲得神經(jīng)網(wǎng)絡(luò)模型作為手勢分類器；

B、在線手勢前置識別階段

(4)實時采集待識別的手勢數(shù)據(jù)；

(5)對待識別手勢數(shù)據(jù)進(jìn)行實時處理，計算當(dāng)前時間節(jié)點的手勢特征，得到當(dāng)前時間節(jié)點的手勢特征序列；

(6)將當(dāng)前時間節(jié)點的手勢特征序列輸入至訓(xùn)練得到的手勢分類器；若手勢分類器輸出預(yù)測概率大于95％，將此概率對應(yīng)手勢類型作為結(jié)果輸出，完成手勢的實時識別。