[發明專利]基于深度神經網絡的手勢識別檢測方法與裝置

有效

• 申請號: 201510859608.4
• 申請日: 2015-11-30
• 公開（公告）號: CN105373785B
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 黃暢;都大龍;楊銘;余凱
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G06N3/12
• 代理公司: 北京市正見永申律師事務所 11497
• 代理人: 黃小臨;王懷章

1.一種基于深度神經網絡的手勢識別檢測方法，其特征在于，所述方法包括：

通過攝像元件獲取包含手勢的圖像序列；以及

運用深度神經網絡模型對圖像序列中的手勢進行檢測，判定預定義手勢事件是否發生，所述預定義手勢事件包括一個或多個預定義手勢的出現，所述預定義手勢對預定義大小的圖像塊進行手勢分類，

其中，運用深度神經網絡模型對圖像序列中的手勢進行檢測包括：

在單幀圖像內運用卷積神經網絡進行從粗到細的手勢識別檢測，獲得預定義手勢事件是否發生的初步判定結果，以及

對連續圖像序列中的初步判定結果序列，運行遞歸神經網絡分類模型，基于手勢識別的時間序列，獲得預定義手勢事件是否發生的精確判定結果，

其中，所述在單幀圖像內運用卷積神經網絡進行從粗到細的手勢識別檢測，包括：

估算手勢在單幀圖像的全圖中的大致位置范圍，

在估算的大致位置范圍內，對單幀圖像的全圖進行多個分辨率的降采樣，獲得多個分辨率的尺度空間的圖像，以及

在所述多個分辨率的尺度空間的圖像中利用滑動窗搜索所述預定義手勢，將搜索結果作為所述初步判定結果的依據。

2.根據權利要求1所述的手勢識別檢測方法，其特征在于，

所述估算手勢在單幀圖像的全圖中的大致位置范圍，包括：

對單幀圖像的全圖進行低分辨率的降采樣，獲得低分辨率的尺度空間的圖像，

將單幀圖像的全圖輸入到卷積神經網絡模型，對每個位置的輸入圖像進行二分類，獲得在所述低分辨率的尺度空間的圖像上預測手出現位置的手勢位置概率圖，以及

在手勢位置概率圖上通過聚類，找到手勢概率出現的最高峰，估算該最高峰在手勢概率圖中的大致位置范圍；并且

在所述多個分辨率的尺度空間的圖像中利用滑動窗搜索所述預定義手勢，將搜索結果作為所述初步判定結果的依據，包括：

運行基于卷積神經網絡模型的多分類模型，在所述多個分辨率的尺度空間的圖像中利用滑動窗搜索所述預定義手勢，將搜索結果作為所述初步判定結果的依據。

3.根據權利要求2所述的手勢識別檢測方法，所述聚類采用Mean-shift算法。

4.根據權利要求2所述的手勢識別檢測方法，其特征在于，運行所述多分類模型包括，將圖像塊分為以下中的一個或多個：非手勢、手掌、握拳、舉大拇指、V字手勢。

5.根據權利要求1所述的手勢識別檢測方法，其特征在于，所述的預定義手勢事件包括手掌懸停、手掌變握拳、手掌上下左右移動中的一個或多個。

6.一種基于深度神經網絡模型的手勢識別檢測裝置，其特征在于，包括：

攝像單元，該攝像單元用于獲取包含人的手勢的連續圖像序列；以及

手勢識別檢測單元，該手勢識別檢測單元用于運用深度神經網絡模型對圖像序列中的手勢進行檢測，判定預定義手勢事件是否發生，預定義手勢事件包括一個或多個預定義手勢的出現，預定義手勢對預定義大小的圖像塊進行手勢分類，

其中，所述手勢識別檢測單元包括：

初步檢測單元，用于在獲取的單幀圖像內運用卷積神經網絡進行從粗到細的手勢識別檢測，獲得預定義手勢事件是否發生的初步判定結果，以及

精確檢測單元，用于對連續圖像序列中的初步判定結果序列，再運行遞歸神經網絡分類模型，基于手勢識別檢測的時間序列，獲得預定義手勢事件是否發生的精確判定結果，

其中，在所述初步檢測單元內執行的在獲取的單幀圖像內運用卷積神經網絡進行從粗到細的手勢識別檢測，包括：

估算手勢在單幀圖像的全圖中的大致位置范圍，

在估算的大致位置范圍內，對單幀圖像的全圖進行多個分辨率的降采樣，獲得多個分辨率的尺度空間的圖像，以及

在所述多個分辨率的尺度空間的圖像中利用滑動窗搜索所述預定義手勢，將搜索結果作為所述初步判定結果的依據。