[發明專利]手勢識別、手勢交互方法及裝置

在審

• 申請號: 202310363839.0
• 申請日: 2023-04-06
• 公開（公告）號: CN116543452A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 于迅博;任尚恩;高鑫;邢樹軍;陳碩;汲魯育;楊嘉輝;桑新柱;顏玢玢
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/82;G06F3/01;G06N3/048;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張正秋

本發明提供一種手勢識別、手勢交互方法及裝置，手勢識別方法包括：確定待識別手部關鍵點數據；將所述待識別手部關鍵點數據輸入手勢識別模型，得到所述待識別手部關鍵點數據對應的目標手勢類別；其中，所述手勢識別模型是基于樣本手部關鍵點數據以及所述樣本手部關鍵點數據對應的手勢類別標簽訓練得到的，所述樣本手部關鍵點數據是初始樣本手部關鍵點數據進行位姿歸一化后獲得的。本發明能夠實現準確且快速的手勢識別，還可以實現多種功能的人機交互，具有較高的穩定性和魯棒性。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種手勢識別、手勢交互方法及裝置。

背景技術

裸眼3D顯示技術可以通過立體顯示設備將具有空間深度信息的三維立體圖像再現出來，觀看者可以在不佩戴任何輔助設備的前提下通過裸眼觀測到立體成像，大大降低了三維立體顯示用戶端的觀測難度，因此，裸眼3D顯示技術被認為是未來顯示領域的重要發展方向。在與裸眼3D顯示器交互的過程中，鍵盤和鼠標等傳統交互方式難以滿足用戶進行信息交換的需求和更加新穎的體驗，新型交互方式逐漸成為優先選擇，如語音交互，眼動跟蹤，手勢交互等。由于人與人之間能通過手勢能夠傳達大量的信息，實現高速的通信交互，因此，手勢交互是3D光場的重要交互技術，手勢識別也是人機交互領域專家和學者重點研究內容。

傳統的手勢識別方法常采用RGBD圖像序列通過深度學習分類手勢，然而該方法存在圖片處理的時間較長，圖像清晰度不高等方面的問題，使得傳統方法無法保證復雜手勢的識別準確率，這對于后續基于手勢識別結果進行的裸眼3D光場人機交互存在負面影響。

發明內容

本發明提供一種手勢識別、手勢交互方法及裝置，用以解決現有技術中復雜手勢識別準確率不高以及人機交互困難的缺陷，實現準確且快速的手勢識別，還可以實現多種功能的人機交互，具有較高的穩定性和魯棒性。

本發明提供一種手勢識別方法，包括：

確定待識別手部關鍵點數據；

將所述待識別手部關鍵點數據輸入手勢識別模型，得到所述待識別手部關鍵點數據對應的目標手勢類別；

其中，所述手勢識別模型是基于樣本手部關鍵點數據以及所述樣本手部關鍵點數據對應的手勢類別標簽訓練得到的，所述樣本手部關鍵點數據是初始樣本手部關鍵點數據進行位姿歸一化后獲得的。

根據本發明提供的一種手勢識別方法，確定所述樣本手部關鍵點數據，包括：

確定目標坐標系；

基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到所述樣本手部關鍵點數據。

根據本發明提供的一種手勢識別方法，所述基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到所述樣本手部關鍵點數據，包括：

基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到歸一化手部關鍵點數據；

獲取各手勢類別的歸一化手部關鍵點數據的類內數據差異，將所述類內數據差異小于等于第一閾值的歸一化手部關鍵點數據確定為所述樣本手部關鍵點數據。

根據本發明提供的一種手勢識別方法，所述基于所述目標坐標系對所述初始樣本手部關鍵點數據進行位姿歸一化，得到歸一化手部關鍵點數據，包括：

獲取所述初始樣本手部關鍵點數據的掌心關鍵點、掌心方向向量和手指方向向量；

將所述掌心關鍵點位移至所述目標坐標系的原點，并將所述掌心方向向量和所述手指方向向量旋轉至所述目標坐標系的坐標軸所在方向，得到所述歸一化手部關鍵點數據。

根據本發明提供的一種手勢識別方法，所述手勢識別模型通過如下方式訓練得到：

確定多層感知器神經網絡；