[發明專利]一種基于unity 3D的VR健身交互系統

有效

• 申請號: 201811037617.5
• 申請日: 2018-09-06
• 公開（公告）號: CN108939418B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 馮曉毅;楊國超;潘仕杰;李浩;付雙雙;彭進業;趙烜
• 申請（專利權）人: 西北工業大學
• 主分類號: A63B22/06
• 分類號: A63B22/06;A63F13/213;A63F13/28
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

1.一種基于unity 3D的VR健身交互系統，其特征在于：

所述的基于unity 3D的VR健身交互系統，包括運動信息采集模塊、虛擬場景生成模塊、外部設備和VR交互模塊，其中運動信息采集模塊用于采集單車運動速度和角度信息；虛擬場景生成模塊用于生成模擬實際的健身場景；外部設備用于展現虛擬場景和捕捉用戶的動作信息；VR交互模塊用于用戶和虛擬場景中的物體交互；

所述基于unity 3D的VR健身交互系統使用unity 3D創建虛擬健身場景，整個虛擬場景是動態的，所有物體具有位置尺寸信息的三維立體圖形，使用與現實相似的虛擬單車作為載具，用戶騎行單車在街道中穿行，騎行速度通過光電傳感器監測實時傳送到虛擬場景中，虛擬單車依據得到的速度信息向前移動并將速度顯示在視野的右上方，用戶轉動車把時通過角度傳感器把角度信息傳輸到電腦端，虛擬場景中的單車隨之轉向，并實現選擇道路、改變方向、加速飛躍、碰撞檢測功能；

所述的運動信息采集模塊對單車進行改造，選用方便拆卸的室內騎行平臺，自主調節車輪阻力，在騎行平臺阻尼輪部位安裝反射式光電傳感器，光電傳感器發射頻率為38kHz的紅外線，當紅外線遇到固定在阻尼輪上的反射面時，紅外線反射回來被接收管接收，經過比較器電路處理后，綠色指示燈亮起，同時信號輸出接口輸出數字信號，產生高低電平，通過電位器旋鈕調節檢測距離，有效距離范圍為2～30cm，工作電壓為3.3V-5V，在單車的前輪下方安裝一個隨車輪左右轉動的滑動變阻器，單車左右轉向時同時改變滑動變阻器的阻值大小，改變電路的分壓值，從而獲得轉動角度信息，采集到的輸出電平和分壓值信息經過單片機系統濾波處理后，通過輸出電平占空比變化計算速度大小，通過滑動變阻器分壓值變化計算轉動角度，并以串口方式發送到電腦端輸入虛擬場景中控制虛擬單車的速度和方向；

所述虛擬場景生成模塊包括飛行游戲場景，通過深度學習方法將揮動手臂的上肢運動與虛擬場景相結合，即建立山谷中飛行游戲的模型，用戶以一只飛行物的視角通過關卡，在重力的作用下向前俯沖，用戶揮動雙臂時，前方放置的攝像頭實時拍攝用戶的肢體動作，使用OpenPose實時多人關鍵點檢測庫并通過COCO數據集訓練后的深度學習模型實現多線程的多人骨骼點實時檢測，對人體姿態建模，判斷用戶當前是否揮動手臂，當判斷為揮臂時，控制飛行物向上飛行越過設置的障礙以通過關卡；

所述外部設備包括虛擬現實頭盔、紅外激光發射器和攝像頭，虛擬現實頭盔通過有線從單片機傳輸速度和角度數據到控制端，向用戶展現虛擬場景，在單車固定位置的車頭左前方和車尾右后方分別放置一個相同高度且互成斜對角的紅外激光發射器，兩個紅外激光發射器內各有一個掃描模塊，掃描模塊以每秒6次的周期分別在水平和垂直方向輪流對定位空間發射橫豎激光掃描定位空間，虛擬現實頭盔的前面板上分布有32個光敏傳感器，紅外激光掃過虛擬現實頭盔時，虛擬現實頭盔開始計數，根據接收到紅外激光的所有光敏傳感器的位置和接收激光時間的關系，用時間乘以速度計算得到每個接收到紅外激光的光敏傳感器相對于兩個紅外激光發射器的距離，即可形成一個3D模型，從而探測虛擬現實頭盔的位置和方向，攝像頭捕捉用戶的肢體動作，使用公開的OpenPose實時多人關鍵點檢測庫并通過COCO數據集訓練后的深度學習模型識別姿態信息，控制場景中選定的與用戶視角相關聯的飛行物的飛行高度并和虛擬場景模塊產生互動效果；

所述VR交互模塊有三種體現形式，第一，碰撞檢測方式，將所有場景中的實物物體在unity3D場景中加入碰撞體組件，當用戶騎行單車碰撞到實物物體時，實物物體包括但不限于房屋、路沿、樹木、石頭，能夠模擬真實情況檢測到碰撞，根據檢測到的碰撞控制虛擬單車作出停止或加速反應；第二，注視反饋方式，用戶佩戴上虛擬現實頭盔后，場景中設置跟蹤頭部移動代表光標的準星，當準星對準場景中的任意動物，準星停留1秒時間后該動物會被激發選中，產生跳躍和奔跑；第三，手勢交互方式，使用分辨率1024*768像素以上、幀率30幀/秒以上且無紅外功能的攝像頭實時捕捉用戶的姿態信息，當用戶上下揮動手臂時，對捕捉到的圖像進行深度學習處理，使用OpenPose實時多人關鍵點檢測庫并通過COCO數據集訓練后的深度學習模型實現多線程的多人骨骼點實時檢測，對人體姿態建模，得到人體的骨骼位點信息，將胸部的骨骼位點作為身體中心，計算骨骼手部與身體中心的連線和骨骼頭部與身體中心的連線之間的夾角，當夾角角度小于50度時則判定為揮手動作，角度大于50度時則判定為沒有揮手，并將判定結果反饋到虛擬場景中，當判定結果為揮手時控制游戲場景中的飛行物隨之升高并通過障礙。