[發(fā)明專利]一種基于深度學(xué)習(xí)的手勢識別方法

在審

• 申請?zhí)枺?/td>: 201710552147.5
• 申請日: 2017-07-07
• 公開（公告）號: CN107688773A
• 公開（公告）日: 2018-02-13
• 發(fā)明（設(shè)計）人: 袁家政;劉宏哲;鄧智方
• 申請（專利權(quán)）人: 北京聯(lián)合大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京馳納智財知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11367
• 代理人: 謝亮

1.一種基于深度學(xué)習(xí)的手勢識別方法，包括以下步驟：

步驟1：數(shù)據(jù)預(yù)處理；

步驟2：卷積神經(jīng)網(wǎng)絡(luò)分類器設(shè)計；

步驟3：卷積神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練；

步驟4：卷積神經(jīng)網(wǎng)絡(luò)分類器優(yōu)化；

步驟5：測試卷積神經(jīng)網(wǎng)絡(luò)分類器的分類效果。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述步驟1為將獲取到的數(shù)據(jù)處理成固定大小的，滿足卷積網(wǎng)絡(luò)輸入層輸入的規(guī)格需求。

3.如權(quán)利要求2所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述步驟1包括以下子步驟：

步驟11：對輸入數(shù)據(jù)使用最近鄰內(nèi)插法(NNI)進行丟棄或重復(fù)，將每個手勢序列重采樣為X幀；

步驟12：在空間上對原始圖像的深度和強度降采樣為M×N幀；

步驟13：使用尺寸為Y×Y像素的Sobel算子從強度通道計算梯度；

步驟14：將特定手勢的視頻序列的每個通道歸一化為零均值和單位方差；

步驟15：得到滿足卷積神經(jīng)網(wǎng)絡(luò)(CNN)輸入規(guī)格的數(shù)據(jù)。

4.如權(quán)利要求1所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述步驟2為將輸入數(shù)據(jù)進行分類，輸出正確的類標(biāo)簽，識別出輸入的手勢類別。

5.如權(quán)利要求4所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述卷積神經(jīng)網(wǎng)絡(luò)分類器包括高分辨率網(wǎng)絡(luò)和低分辨率網(wǎng)絡(luò)。

6.如權(quán)利要求5所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：根據(jù)以下公式可以得出所述卷積神經(jīng)網(wǎng)絡(luò)分類器的概率：其中表示低分辨率的神經(jīng)網(wǎng)絡(luò)的參數(shù)，表示高分辨率的神經(jīng)網(wǎng)絡(luò)的參數(shù)，表示給定手勢x的情況中屬于類別C的概率。

7.如權(quán)利要求6所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述高分辨率網(wǎng)格由4個3D卷積層組成，其中每一個所述卷積層都有卷積和池化操作。

8.如權(quán)利要求7所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述高分辨率網(wǎng)格的輸出是一個softmax層。

9.如權(quán)利要求8所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述softmax是一種形如下式的函數(shù)：其中θ_i和x是列向量，θ_i^Tx被換成函數(shù)關(guān)于x的函數(shù)f_i(x)。

10.如權(quán)利要求6所述的基于深度學(xué)習(xí)的手勢識別方法，其特征在于：所述低分辨率網(wǎng)格由4個3D卷積層和2個全連接層組成，其中每一個所述卷積層后面均連接一個最大池化層。