[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別檢測方法與裝置

有效

• 申請?zhí)枺?/td>: 201510859608.4
• 申請日: 2015-11-30
• 公開（公告）號: CN105373785B
• 公開（公告）日: 2019-08-02
• 發(fā)明（設(shè)計(jì)）人: 黃暢;都大龍;楊銘;余凱
• 申請（專利權(quán)）人: 北京地平線機(jī)器人技術(shù)研發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G06N3/12
• 代理公司: 北京市正見永申律師事務(wù)所 11497
• 代理人: 黃小臨;王懷章

本申請公開了基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別檢測方法和裝置。所述方法包括：通過攝像元件獲取包含手勢的圖像序列；運(yùn)用深度神經(jīng)網(wǎng)絡(luò)模型對圖像序列中的手勢進(jìn)行檢測，判定預(yù)定義手勢事件是否發(fā)生，所述預(yù)定義手勢事件包括一個(gè)或多個(gè)預(yù)定義手勢的出現(xiàn)，所述預(yù)定義手勢對預(yù)定義大小的圖像塊進(jìn)行手勢分類。通過上述方法實(shí)現(xiàn)了快速準(zhǔn)確地識別預(yù)定義手勢事件。

技術(shù)領(lǐng)域

本公開一般涉及智能識別技術(shù)領(lǐng)域，具體涉及基于神經(jīng)網(wǎng)絡(luò)的手勢識別檢測技術(shù)領(lǐng)域，尤其涉及基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別檢測方法與裝置。

背景技術(shù)

嵌入式設(shè)備上的快速準(zhǔn)確的手勢識別檢測系統(tǒng)，可極大方便用戶與設(shè)備進(jìn)行便捷的交互控制，在家具家電上創(chuàng)造出創(chuàng)新的用戶體驗(yàn)。

在一些游戲機(jī)和智能家電的交互控制中，出現(xiàn)了采用利用深度攝像頭如kinect或雙目攝像頭系統(tǒng)，獲得人手的深度或立體信息從而進(jìn)行手勢識別檢測的技術(shù)方案，但這類方案由于需要深度攝像頭或多攝像頭方案，硬件成本高且需要耗費(fèi)相當(dāng)大的計(jì)算資源。使用單目攝像頭進(jìn)行手勢識別檢測的技術(shù)方案中，通常基于膚色形狀輪廓特征，采用SVM或決策樹等分類方法檢測跟蹤手勢，無法實(shí)現(xiàn)準(zhǔn)確的手勢識別檢測。另外，在提取復(fù)雜的圖像特征時(shí)，由于計(jì)算量大，導(dǎo)致無法實(shí)現(xiàn)在嵌入式設(shè)備上的快捷人機(jī)交互。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種快速準(zhǔn)確地進(jìn)行手勢識別檢測的方法與裝置。

根據(jù)本發(fā)明的第一方面，提供一種基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別檢測方法，所述方法包括：

通過攝像元件獲取包含手勢的圖像序列；

運(yùn)用深度神經(jīng)網(wǎng)絡(luò)模型對圖像序列中的手勢進(jìn)行檢測，判定預(yù)定義手勢事件是否發(fā)生，所述預(yù)定義手勢事件包括一個(gè)或多個(gè)預(yù)定義手勢的出現(xiàn)，所述預(yù)定義手勢對預(yù)定義大小的圖像塊進(jìn)行手勢分類。

優(yōu)選地，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)模型對圖像序列中的手勢進(jìn)行檢測，包括以下步驟：

在單幀圖像內(nèi)運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行從粗到細(xì)的手勢識別檢測，獲得預(yù)定義手勢事件是否發(fā)生的初步判定結(jié)果；

對連續(xù)圖像序列中的初步判定結(jié)果序列，運(yùn)行遞歸神經(jīng)網(wǎng)絡(luò)分類模型，獲得預(yù)定義手勢事件是否發(fā)生的精確判定結(jié)果。

優(yōu)選地，在單幀圖像內(nèi)運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行從粗到細(xì)的手勢識別檢測，包括：

對單幀圖像的全圖進(jìn)行低分辨率的降采樣，獲得低分辨率的尺度空間的圖像；

將單幀圖像的全圖輸入到卷積神經(jīng)網(wǎng)絡(luò)模型，對每個(gè)位置的輸入圖像進(jìn)行二分類，獲得在所述較低分辨率的尺度空間的圖像上預(yù)測手出現(xiàn)位置的手勢位置概率圖；

在手勢位置概率圖上通過聚類，找到手勢概率出現(xiàn)的最高峰，估算該最高峰在手勢概率圖中的大致位置范圍；

在估算的大致位置范圍內(nèi)，對單幀圖像的全圖進(jìn)行多個(gè)分辨率的降采樣，獲得多個(gè)分辨率的尺度空間的圖像，

運(yùn)行基于卷積神經(jīng)網(wǎng)絡(luò)的多分類模型，在所述多個(gè)分辨率的尺度空間的圖像中利用滑動窗搜索所述預(yù)定義手勢，將搜索結(jié)果作為所述初步判定結(jié)果的依據(jù)。

優(yōu)選地，所述聚類采用Mean-shift算法。

可選地，運(yùn)行所述多分類模型包括，將圖像塊分為以下中的一個(gè)或多個(gè)：非手勢、手掌、握拳、舉大拇指、V字手勢。

可選地，預(yù)定義手勢事件，包括手掌同一位置懸停、手掌變握拳、手掌上下左右移動或順逆時(shí)鐘畫圈中的一個(gè)或多個(gè)。

根據(jù)本發(fā)明的第二方面，提供一種基于深度神經(jīng)網(wǎng)絡(luò)模型的手勢識別檢測裝置，包括：

攝像單元，該攝像單元用于獲取包含人的手勢的連續(xù)圖像序列；以及