[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910561307.1
• 申請日: 2019-06-26
• 公開（公告）號: CN111860086A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 伍穗穎;柯茂旭;張碩
• 申請（專利權(quán)）人: 廣州凡拓數(shù)字創(chuàng)意科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06F3/01
• 代理公司: 北京律和信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11446
• 代理人: 冷文燕;劉興

本申請?zhí)峁┗谏疃壬窠?jīng)網(wǎng)絡(luò)的手勢識別方法、裝置及系統(tǒng)。所述方法包括：基于深度神經(jīng)網(wǎng)絡(luò)檢測來自攝像頭的手勢圖片的手勢類型和手勢參數(shù)；基于所述手勢類型和手勢參數(shù)提取所述手勢圖片的感興趣區(qū)域；獲取來自Kinect攝像頭的手勢識別模型；利用所述手勢識別模型識別所述感興趣區(qū)域的手勢得到第一手勢識別結(jié)果。

技術(shù)領(lǐng)域

本申請涉及手勢識別技術(shù)領(lǐng)域，具體涉及基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別方法、裝置及系統(tǒng)。

背景技術(shù)

人機(jī)交互技術(shù)已經(jīng)融入人們的日常生活中，涉及的領(lǐng)域有工作、購物、交流和娛樂等。傳統(tǒng)的人機(jī)交互設(shè)備比如鼠標(biāo)、鍵盤和遙控器，這種不自然的交流方式使得交互緩慢而且不自然。對于與3D對象的交互尤其如此，鼠標(biāo)的2個自由度無法正確模擬空間的3個維度。為了促進(jìn)和完成人與計算機(jī)之間的高級交互，出現(xiàn)了自然交互技術(shù)，如：可觸摸技術(shù)、手勢、人臉識別、語音識別、自然導(dǎo)航等。自然交互是指人與計算機(jī)生成的模擬交互的能力，這些模擬準(zhǔn)確地反映了與真實對象的交互。與使用傳統(tǒng)輸入方法相比，多模態(tài)自然交互為用戶提供了更自然的方式與虛擬環(huán)境進(jìn)行交互，也為遠(yuǎn)程操作提供了技術(shù)支持。

人們越來越重視涉及感官的自然交互，使用嗅覺、聲音、觸覺以及視覺感知，可以提供一系列不同的交互選擇。隨著用戶輸入從鍵盤轉(zhuǎn)移到手勢、語音和身體移動等，用戶將需要可靠的機(jī)制來表達(dá)他們的意圖。2011年，蘋果公司基于語音識別的iPhone個人助理Siri發(fā)布，標(biāo)志著公眾對語音識別技術(shù)的看法發(fā)生了一次變化。第一次用戶可以通過語音來輸入信息，導(dǎo)航應(yīng)用程序或提出問題。作為自然交互的一個方面，基于手勢的自然交互越來越受到關(guān)注。與其他身體部位相比，手被廣泛應(yīng)用，因為它是人類與外界之間交流的天然媒介，比如當(dāng)用手指向一個物體，表達(dá)有關(guān)某物的信息或者移動、修改和變換該物體，完全相同的方式用手來打手勢完成交互更加直觀自然。因此手是最適合人機(jī)交互的部位。

手勢控制有兩種方法，基于觸摸和非觸摸。觸摸屏交互是基于觸摸設(shè)備的示例，基于觸摸的設(shè)備的缺點之一是需要與設(shè)備直接接觸，因此無法從遠(yuǎn)處進(jìn)行交互。另一個缺點是這種類型的交互是不自然的，并且過程緩慢。基于視覺的手勢識別技術(shù)是非觸摸的方法，這種識別和跟蹤方法為研究人員提供了更多的自由度也不需要戴手套。然而，基于視覺的手勢識別技術(shù)因復(fù)雜的背景、動態(tài)照明條件、可變形的人手形狀和錯誤的對象提取可能導(dǎo)致計算機(jī)誤解手勢。如果人是移動的，則手勢識別系統(tǒng)還需要滿足其他約束，例如圖像中手勢的大小和對運動的適應(yīng)性。

Microsoft開發(fā)了一個用于體感開發(fā)的設(shè)備Kinect，該設(shè)備具有自然交互的能力。Kinect可以處理基本手勢，面部特征，甚至全身運動，如跳躍和踢腿等。用戶可以通過物理運動或語音命令控制游戲、電影和音樂。

發(fā)明人發(fā)現(xiàn)，復(fù)雜背景及動態(tài)照明條件對Kinect實現(xiàn)動作捕捉影響較小，但是當(dāng)檢測和識別較小的物體，例如占據(jù)圖像的非常小的區(qū)域且具有復(fù)雜鉸接結(jié)構(gòu)的人手時，存在自遮擋和精確度不足等問題。

發(fā)明內(nèi)容

本申請實施例提供一種基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別方法，包括：基于深度神經(jīng)網(wǎng)絡(luò)檢測來自攝像頭的手勢圖片的手勢類型和手勢參數(shù)；基于所述手勢類型和手勢參數(shù)提取所述手勢圖片的感興趣區(qū)域；獲取來自Kinect攝像頭的手勢識別模型；利用所述手勢識別模型識別所述感興趣區(qū)域的手勢得到第一手勢識別結(jié)果。

作為一種可選擇的方案，所述方法還包括：將所述第一手勢識別結(jié)果與利用Kinect攝像頭根據(jù)手部骨骼信息得到的第二手勢識別結(jié)果加權(quán)得到最終識別結(jié)果。

作為本申請的一個方面，所述基于深度神經(jīng)網(wǎng)絡(luò)檢測來自攝像頭的手勢圖片的手勢類型和手勢參數(shù)，包括：獲取來自攝像頭的手勢圖片；對所述手勢圖片進(jìn)行處理和標(biāo)注得到手勢圖片的特征；基于所述手勢圖片的特征對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述手勢類型和手勢參數(shù)。