[發明專利]一種基于混合現實技術的訓練系統及其方法

有效

• 申請號: 202010564401.5
• 申請日: 2020-06-19
• 公開（公告）號: CN111729283B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 黃敦筆;杜武平;胡濱;唐金騰
• 申請（專利權）人: 杭州賽魯班網絡科技有限公司
• 主分類號: A63B71/06
• 分類號: A63B71/06;G06F3/01;G06T19/00
• 代理公司: 杭州新源專利事務所(普通合伙) 33234
• 代理人: 鄭雙根

1.一種基于混合現實技術的訓練系統，其特征在于：提供一種基于混合現實技術的訓練系統在低成本的前提下實現虛擬交互式訓練，其訓練更富有趣味性、逼真性和臨場感；

所述基于混合現實技術的訓練系統包括處理器單元、視頻捕獲模塊、虛擬對象生產模塊、MR融合模塊、語義分割模塊、運動姿態計算模塊、運動交互反饋模塊和MR顯示模塊；

所述處理器單元是一種計算機系統的運算和控制核心模塊，是信息處理和運行的最終執行單元；

所述視頻捕獲模塊獲取訓練場景視頻信號；

所述語義分割模塊將訓練場景視頻信號計算分離并提取生成訓練場景的圖像數據信息和區域數據信息，所述訓練場景包括前景和背景；

所述運動姿態計算模塊實時輸出真實訓練者訓練時的人體骨架關節點數據信息；

所述虛擬對象生成模塊通過基于系統預置的虛擬場景和虛擬對象資源，結合語義分割模塊輸出的訓練場景的圖像數據信息和區域數據信息，計算輸出數字虛擬信息；所述數字虛擬信息至少包括數字虛擬場景信息或數字虛擬訓練者信息；

所述MR融合模塊通過獲取MR的配置和數字虛擬信息結合真實訓練者的圖像信息后生成最終圖像信息并發送到顯示模塊；

所述MR顯示模塊對最終圖像信息進行渲染輸出；

所述運動交互反饋模塊依據人體骨架關節點數據信息，驅動MR融合場景中訓練者對象作同步動作訓練和交互反饋；所述訓練者對象至少包括真實訓練者或數字虛擬訓練者；

所述語義分割模塊具有如下公式：C_r＝αC_f+(1-α)C_b，其中C_r是訓練場景圖像數據，C_f是前景圖像數據，C_b是背景圖像數據，α是透明度；

所述語義分割模塊通過采用基于Region Of Interesting像素密切關系的采樣算法來計算未知區域的α值；所述未知區域為除前景和背景以外的區域；

所述采樣算法，具有如下步驟：

A、生成起始前景候選框：采用Region Of Interesting計算圖像前景起始區域生成起始前景候選框；所述Region Of Interesting計算包括基于深度網絡的人體特征檢測和基于壓縮視頻的人體特征計算；所述基于深度網絡的人體特征檢測包括目標定位、特征點檢測和基于滑動窗口的目標檢測；

B、擴展起始前景候選框：對起始前景候選框進行擴展，減少未知點數量；若未知點領域半徑內有已知點，計算未知點顏色與已知點顏色的距離，將未知點歸屬至距離小于顏色閾值且靠近的已知點；

C、選出最佳的一對前景取樣點和背景取樣點：對剩余的未知點按規律進行順序取樣，選出最佳的一對前景取樣點和背景取樣點；

所述取樣的具體內容為，設定一個點最多可取樣的前景點和背景點的個數為K，則最多的取樣對為KxK組，從未知點出發引出Kg條路徑，每條路徑之間為360/Kg的夾角，記錄下每條路徑經過的路線中首次遇到的前景點或背景點直至超出圖像邊緣；

D、重組最佳對：在符合特定區域條件的區域范圍內，對未知點的最佳對重新進行組合；所述最佳對為步驟C中所得的最佳的一對前景取樣點和背景取樣點；

所述特定區域條件是，區域包括未知點的前景取樣點和背景取樣點的取樣數少于Kg個；

在一定的鄰域內，統計出對應mp值指示最小的三個點的相關顏色數據，對相關顏色數據進行加權平均，得數據對；依據數據對計算新的前景圖像、背景圖像、透明度和可信度；

所述mp為用α結合C_f和/或C_b計算出的顏色和原始顏色的差值；所述可信度為反映確定的取樣點合理程度的度量值；

E、局部平滑處理：依據可信度對得到的最佳對以及透明度進行局部平滑處理，減少噪音；

F、輸出采樣圖像結果。

2.根據權利要求1所述的一種基于混合現實技術的訓練系統，其特征在于：所述處理器單元是嵌入式系統處理器或嵌入式神經網絡處理器；

所述嵌入式神經網絡處理器采用基于深度學習人工智能技術的數據驅動并行計算的架構。

3.根據權利要求1所述的一種基于混合現實技術的訓練系統，其特征在于：所述語義分割模塊包括訓練校準處理模塊；

所述訓練校準處理模塊確保真實訓練者落入指定預置的區域內。