[發明專利]手勢識別、手勢交互方法及裝置

在審

• 申請號: 202310363839.0
• 申請日: 2023-04-06
• 公開（公告）號: CN116543452A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 于迅博;任尚恩;高鑫;邢樹軍;陳碩;汲魯育;楊嘉輝;桑新柱;顏玢玢
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/82;G06F3/01;G06N3/048;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張正秋

1.一種手勢識別方法，其特征在于，包括：

確定待識別手部關鍵點數據；

將所述待識別手部關鍵點數據輸入手勢識別模型，得到所述待識別手部關鍵點數據對應的目標手勢類別；

其中，所述手勢識別模型是基于樣本手部關鍵點數據以及所述樣本手部關鍵點數據對應的手勢類別標簽訓練得到的，所述樣本手部關鍵點數據是初始樣本手部關鍵點數據進行位姿歸一化后獲得的。

2.根據權利要求1所述的手勢識別方法，其特征在于，確定所述樣本手部關鍵點數據，包括：

確定目標坐標系；

基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到所述樣本手部關鍵點數據。

3.根據權利要求2所述的手勢識別方法，其特征在于，所述基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到所述樣本手部關鍵點數據，包括：

基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到歸一化手部關鍵點數據；

獲取各手勢類別的歸一化手部關鍵點數據的類內數據差異，將所述類內數據差異小于等于第一閾值的歸一化手部關鍵點數據確定為所述樣本手部關鍵點數據。

4.根據權利要求3所述的手勢識別方法，其特征在于，所述基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到歸一化手部關鍵點數據，包括：

獲取所述初始樣本手部關鍵點數據的掌心關鍵點、掌心方向向量和手指方向向量；

將所述掌心關鍵點位移至所述目標坐標系的原點，并將所述掌心方向向量和所述手指方向向量旋轉至所述目標坐標系的坐標軸所在方向，得到所述歸一化手部關鍵點數據。

5.根據權利要求1至4任一所述的手勢識別方法，其特征在于，所述手勢識別模型通過如下方式訓練得到：

確定多層感知器神經網絡；

將所述樣本手部關鍵點數據輸入至所述多層感知器神經網絡，得到所述樣本手部關鍵點數據對應的預測手勢類別標簽；

根據所述手勢類別標簽和所述預測手勢類別標簽，更新所述多層感知器神經網絡的模型參數，以訓練得到所述手勢識別模型。

6.一種手勢交互方法，其特征在于，包括：

獲取待識別手部關鍵點數據，并基于權利要求1至5的任一種所述手勢識別方法確定所述待識別手部關鍵點數據對應的目標手勢類別；

基于預定義的手勢類別和人機交互功能的對應關系，確定所述目標手勢類別對應的目標人機交互功能。

7.一種手勢識別裝置，其特征在于，包括：

采集模塊，用于確定待識別手部關鍵點數據；

識別模塊，用于將所述待識別手部關鍵點數據輸入手勢識別模型，得到所述待識別手部關鍵點數據對應的目標手勢類別；

其中，所述手勢識別模型是基于樣本手部關鍵點數據以及所述樣本手部關鍵點數據對應的手勢類別標簽訓練得到的，所述樣本手部關鍵點數據是初始樣本手部關鍵點數據進行位姿歸一化后獲得的。

8.根據權利要求7所述的手勢識別裝置，其特征在于，所述采集模塊采用體感控制器，所述待識別手部關鍵點數據包括手部關鍵點的三維坐標和手部瞬時運動方向向量。

9.一種手勢交互裝置，其特征在于，包括：

手勢識別模塊，用于獲取待識別手部關鍵點數據，并基于權利要求1至5的任一種所述手勢識別方法確定所述待識別手部關鍵點數據對應的目標手勢類別；

手勢交互模塊，用于基于預定義的手勢類別和人機交互功能的對應關系，確定所述目標手勢類別對應的目標人機交互功能。

10.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至5任一項所述手勢識別方法或權利要求6所述的手勢交互方法。