[發明專利]基于多關節數據融合的手勢識別系統及方法

有效

• 申請號: 202010698344.X
• 申請日: 2020-07-20
• 公開（公告）號: CN111831122B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 汪凝;洪榛;洪淼
• 申請（專利權）人: 浙江財經大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F18/241;G06N7/02
• 代理公司: 紹興市寅越專利代理事務所(普通合伙) 33285
• 代理人: 陳彩霞

1.一種基于多關節數據融合的手勢識別方法，其特征在于，采用基于多關節數據融合的手勢識別系統，所述系統包括：

手套；

位于所述手套的手背位置的電池單元、控制單元、第一慣性傳感器單元、通信單元和交互單元，所述控制單元分別與所述第一慣性傳感器單元、所述通信單元和所述交互單元電連接，所述電池單元分別為所述控制單元、所述第一慣性傳感器單元、所述通信單元和所述交互單元提供電能；以及

位于所述手套的指關節處的第二慣性傳感器單元，所述第二慣性傳感器單元與所述控制單元電連接，所述電池單元還為所述第二慣性傳感器單元提供電能；

其中，所述控制單元通過所述第一慣性傳感器單元和所述第二慣性傳感器單元分別采集手掌和手指關節的角度和加速度數據，進行手勢識別；

所述手套的手背和指背處分別設置有卡扣，所述手套的手背的卡扣用于固定所述電池單元、所述控制單元、所述第一慣性傳感器單元、所述通信單元和所述交互單元，所述手套的指背處的卡扣用于固定所述第二慣性傳感器單元；

所述第一慣性傳感器單元位于所述手套的手背中心位置處，所述第二慣性傳感器單元包括多路慣性傳感器，所述多路慣性傳感器分別位于手指各個關節處；

所述方法包括如下步驟：

控制單元通過第一慣性傳感器單元和第二慣性傳感器單元捕獲手掌和手指關節的三軸角度和加速度原始數據；

所述控制單元對所述三軸角度和加速度原始數據進行歸一化和數字濾波處理，得到預處理數據；

所述控制單元通過模糊分類器提取彎曲度和張開度特征，并通過方差計算運動狀態特征，所述運動狀態特征與手掌三軸角度、加速度數據作為特征數據；

所述控制單元利用單一型手勢識別模型對特征數據進行預測，預測的標簽即為目標手勢，通過交互單元輸出手勢；

所述控制單元通過第一慣性傳感器單元和第二慣性傳感器單元捕獲手掌和手指關節的三軸角度和加速度原始數據之前，還包括用戶通過交互單元選擇訓練模式或預測模式；

所述控制單元對所述三軸角度和加速度原始數據進行歸一化和數字濾波處理，得到預處理數據之后，還包括如下步驟：

若為訓練模式，利用標定的預處理數據分別對彎曲度模糊分類器和張開度模糊分類器進行訓練，否則跳過此步驟；

所述通過模糊分類器提取彎曲度和張開度特征，并通過方差計算運動狀態特征，所述運動狀態特征與手掌三軸角度、加速度數據作為特征數據之后，還包括如下步驟：

若為訓練模式，利用標定的特征數據對單一型手勢識別模型進行訓練，更新并保存模型；

若為預測模式，利用單一型手勢識別模型對特征數據進行預測，預測的標簽即為目標手勢，通過交互單元輸出手勢。

2.根據權利要求1所述的基于多關節數據融合的手勢識別方法，其特征在于，所述利用標定的預處理數據分別對彎曲度模糊分類器和張開度模糊分類器進行訓練，包括如下步驟：

設定模糊分類器類別為彎曲度或張開度；

若為訓練模式，選擇不同類別的基準手勢，提取標定的基準手勢對應的手指和手掌三軸角度數據作為模糊分類器的訓練集；

更新并保存模糊分類器；

從下一個手勢中提取未標定的手勢數據，利用模糊分類器進行預測，以預測結果中類別占比最多的標簽標定該手勢數據，以標定后的手勢數據數據和上一次模糊分類器的輸入作為新的訓練集，重復上一步驟直至手勢為空。

3.根據權利要求1所述的基于多關節數據融合的手勢識別方法，其特征在于，所述手套的手套本體采用柔性材料，且所述手套在佩戴時至少部分包覆佩戴者的手背和指背。

4.根據權利要求1所述的基于多關節數據融合的手勢識別方法，其特征在于，所述通信單元用于按照預設的數據格式與服務器或其他手勢識別系統進行通信，所述交互單元用于顯示識別的手勢和播放對應語音，以及接收用戶的輸入信息。