[發明專利]一種可用于增強現實游戲的可移動式手勢交互方法

有效

• 申請號: 202010239114.7
• 申請日: 2020-03-30
• 公開（公告）號: CN112000219B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 杜廣龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T7/277;G06V40/20;A63F13/213
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種可用于增強現實游戲的可移動式手勢交互裝置及方法。所述方法具體如下：首先將手勢傳感器和樹莓派安裝到增強現實眼鏡上，通過樹莓派將手勢傳感器的數據讀出并發送到PC端，然后采用坐標系之間的轉換關系，將手勢的坐標轉換到游戲世界坐標。在此基礎上，PC端使用區間卡爾曼濾波器和粒子濾波對手勢數據進行處理，再將數據發送到增強現實眼鏡。此外，利用注冊跟蹤技術在虛擬游戲世界構建虛擬手模型，增強現實眼鏡收到的手勢數據用于驅動虛擬手模型。本發明提供了一種自然、直觀的交互體驗，可以讓玩家在大型的場景不受位置和方向影響地使用手勢交互，提高了交互的可靠性。

技術領域

本發明屬于人機交互領域，特別涉及一種可用于增強現實游戲的可移動式手勢交互裝置及方法。

背景技術

增強現實是一種將虛擬信息與真實世界巧妙融合的技術。增強現實技術因為其顛覆性和革命性而受到了大量的關注。隨著硬件設備的不斷完善，增強現實的應用領域擴展到多個新領域，如虛擬裝配、虛擬教學、遠程手術等。在游戲領域，增強現實的沉浸式技術為消費者帶來沉浸感更強的3D體驗。手勢交互是人們日常生活中使用最廣泛的交互方式，許多增強現實游戲也都使用了手勢交互的方式，如電子槍、穿戴式外骨架、手勢檢測傳感器等。然而，這些傳統的增強現實游戲中所采用的手勢交互，由于硬件或者軟件等諸多因素，通常只能局限在一個小空間內。隨著5G時代的來臨，巨量的數據傳輸和快速的數據傳輸成為可能，大空間的可移動式增強現實游戲也因此逐漸受到人們關注。在這種大空間可移動式的增強現實游戲中，玩家會在一個大范圍內移動，同時玩家的朝向也會不時地改變。解決在大空間可移動式的增強現實游戲中如何使用手勢交互的問題對這些增強現實游戲的廣泛應用有著重大意義。

到目前為止，在增強現實游戲中廣泛使用的手勢交互方法有三種：一是使用手持設備；二是使用穿戴式外骨架或手套；三是使用相機或者傳感器設備檢測人手。手持設備因為是應用于特定的場景，故其輸入的手勢種類是特定的，如手槍、劍柄、方向盤等電子設備(程君青,朱曉菊.教育游戲的國內外研究綜述[J].現代教育技術,2007(07):74-77.)。這種手勢輸入方法雖然穩定，但是應用范圍被限制在特定的游戲中，不能應用到其它類型的游戲。穿戴式外骨架或手套，其原理是測量設備的關節的信息，從而構建出人手的關節信息，是一種有效的手勢交互方法。但是因為供電、設備重量、線路連接等因素，這種手勢交互方法目前還只能小空間、短時間地使用，無法應用到大空間可移動式的增強現實游戲中(任有恒.可穿戴虛擬現實運動頭盔及可穿戴虛擬動作游戲系統.CN204745623U)。不過隨著硬件技術的改進升級，可穿戴設備將具有更加廣闊的應用前景。

使用相機或者傳感器設備檢測人手是一種有效的手勢交互方式。但是在傳統的方法里，這些檢測設備都是固定在一個地點，從遠端檢測人手的動作(錢鶴慶.應用Kinect與手勢識別的增強現實教育輔助系統[D].上海交通大學,2011.T.Simon,H.Joo,I.Matthewsand Y.Sheikh，Hand Keypoint Detection in Single Images Using MultiviewBootstrapping， 2017 IEEE Conference on Computer Vision and PatternRecognition(CVPR),Honolulu, HI,2017,pp.4645-4653.)。然而，在大空間可移動式的增強現實游戲中，玩家通常需要移動到不同的地點，面向不同的方向。如果人手遭到遮擋，或者人手的距離太遠，則這種檢測方法就會失效。因此，如何在大空間可移動式的增強現實游戲場景下實現可靠的手勢交互，是一個亟待解決的問題。

發明內容