[發明專利]基于區域卷積神經網絡的第一視角手勢識別與交互方法

有效

• 申請號: 201710273519.0
• 申請日: 2017-04-25
• 公開（公告）號: CN107168527B
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 鄭曉旭;徐向民;殷瑞祥;蔡博侖
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

1.基于區域卷積神經網絡的第一視角手勢識別與交互方法，其特征在于，包括以下步驟：

S1、獲取包括多種不同第一視角下的手勢的訓練數據，人工標定訓練數據的標簽，所述訓練數據的標簽包括手勢區域的外接矩陣左上角坐標和右下角坐標、人工標定的手勢類別、人工標定的關鍵骨架的坐標點；

S2、設計一個基于區域卷積的神經網絡，使得神經網絡輸入為三通道RGB圖像，輸出為手勢區域的外接矩陣左上角坐標和右下角坐標，以及手勢類別、手勢骨架關鍵點；

S3、判斷手勢類別，根據不同需求輸出相應的交互結果；

S4、利用手勢判別結果進行指令判別，作出相應指令；

步驟S2所述基于區域卷積的神經網絡包括兩部分，第一部分為包括卷積層-池化層-卷積層-池化層-卷積層-池化層-全連接層的卷積神經網絡CNN模型，用于訓練手部檢測，第一部分的輸入為RGB圖像，訓練輸出為手勢區域外接矩陣左上角坐標和右下角坐標；第二部分為包括ROI池化層-卷積層-池化層-卷積層-池化層-全連接層的卷積神經網絡CNN模型，輸入為第一部分的最后一個池化層圖像，并通過第一部分輸出手勢區域外接矩陣左上角坐標和右下角坐標，在ROI池化層作一致化處理，訓練輸出為手勢類別及關鍵骨架的坐標位置。

2.根據權利要求1所述的基于區域卷積神經網絡的第一視角手勢識別與交互方法，其特征在于，步驟S2所述第一部分用于優化歐氏范數損失函數，迭代至參數穩定；第二部分用于優化分段損失函數，迭代至參數穩定。

3.根據權利要求1所述的基于區域卷積神經網絡的第一視角手勢識別與交互方法，其特征在于，步驟S1獲取訓練數據時，將攝像頭處于人眼位置，視覺方向與眼睛直視方向一致。

4.根據權利要求1所述的基于區域卷積神經網絡的第一視角手勢識別與交互方法，其特征在于，步驟S3中，若為跟蹤需求，則對手勢骨架關鍵點進行雙指數濾波與坐標映射；若為判定需求，則對不同手勢類別做出相應的判別結果。