[發(fā)明專利]一種基于紅外反射手套的手勢識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010019629.6
• 申請日: 2020-01-08
• 公開（公告）號: CN111191632B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設計）人: 梁正
• 申請（專利權）人: 梁正
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/145;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06F3/01
• 代理公司: 北京華專卓海知識產(chǎn)權代理事務所(普通合伙) 11664
• 代理人: 張繼鑫

1.一種基于紅外反射手套的手勢識別方法，其特征在于，包括：

通過VR系統(tǒng)的紅外攝像頭對戴有紅外反射手套的用戶手部動作圖像進行采集；所述手部動作圖像包括手掌及各手指的紅外反射圖像；

將所采集的手部動作圖像輸入預先訓練得到的輪廓識別神經(jīng)網(wǎng)絡模型，得到對應的手勢輪廓區(qū)域；所述手勢輪廓區(qū)域包括手掌輪廓區(qū)域及各手指輪廓區(qū)域；

根據(jù)所述手勢輪廓區(qū)域以及手套位置，得到手部關鍵關節(jié)點的3D坐標；

將所述手部關鍵關節(jié)點的3D坐標輸入預先訓練得到的手勢識別神經(jīng)網(wǎng)絡模型中，得到手勢識別結果；

其中，所述紅外反射手套包括手掌套和指套，所述手掌套的正面上設置有紅外反射塊；所述指套的正面上均設置有紅外反射帶，不同的紅外反射塊與紅外反射帶具有不同的紅外反射花紋。

2.根據(jù)權利要求1所述的方法，其特征在于，所述紅外攝像頭為多個，實現(xiàn)對用戶手部動作的采集，避免遮擋。

3.根據(jù)權利要求2所述的方法，其特征在于，所述輪廓識別神經(jīng)網(wǎng)絡模型為前向傳播CNN網(wǎng)絡。

4.根據(jù)權利要求2所述的方法，其特征在于，所述手套位置是通過紅外攝像機獲取手套腕帶上設置的至少三個信號發(fā)射器發(fā)出的紅外信號后，根據(jù)光學定位方法獲取到的。

5.根據(jù)權利要求4所述的方法，其特征在于，根據(jù)所述手勢輪廓區(qū)域以及手套位置，得到手部關鍵關節(jié)點的3D坐標包括：

根據(jù)紅外光學定位方法的原理獲取到手掌、手指的空間位置，并根據(jù)所述手套位置對手掌、手指的空間位置進行修正；根據(jù)不同反射塊與反射帶的紅外反射條紋，對不同手指的關節(jié)點進行區(qū)分。

6.根據(jù)權利要求4所述的方法，其特征在于，根據(jù)所述手勢輪廓區(qū)域以及手套位置，得到手部關鍵關節(jié)點的3D坐標還包括：

構造手部關鍵關節(jié)點的時間圖和手部關鍵關節(jié)點的空間圖，并進一步構造手部關鍵關節(jié)點時空圖。

7.根據(jù)權利要求6所述的方法，其特征在于，將所述手部關鍵關節(jié)點的3D坐標輸入預先訓練得到的手勢識別神經(jīng)網(wǎng)絡模型中，得到手勢識別結果包括：

將所述手部關鍵關節(jié)點時空圖輸入至預先訓練的手勢識別神經(jīng)網(wǎng)絡模型中，得到識別結果。

8.一種基于紅外反射手套的手勢識別系統(tǒng)，其特征在于，包括：

采集模塊，用于通過VR系統(tǒng)的紅外攝像頭對戴有紅外反射手套的用戶手部動作圖像進行采集；所述手部動作圖像包括手掌及各手指的紅外反射圖像；

輪廓識別模塊，用于將所采集的手部動作圖像輸入預先訓練得到的輪廓識別神經(jīng)網(wǎng)絡模型，得到對應的手勢輪廓區(qū)域；所述手勢輪廓區(qū)域包括手掌輪廓區(qū)域及各手指輪廓區(qū)域；

關鍵關節(jié)點獲取模塊，用于根據(jù)所述手勢輪廓區(qū)域以及手套位置，得到手部關鍵關節(jié)點的3D坐標；

手勢識別模塊，用于將所述手部關鍵關節(jié)點的3D坐標輸入預先訓練得到的手勢識別神經(jīng)網(wǎng)絡模型中，得到手勢識別結果；

其中，所述紅外反射手套包括手掌套和指套，所述手掌套的正面上設置有紅外反射塊；所述指套的正面上均設置有紅外反射帶，不同的紅外反射塊與紅外反射帶具有不同的紅外反射花紋。

9.一種電子設備，包括存儲器和處理器，所述存儲器上存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1～7中任一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)如權利要求1～7中任一項所述的方法。