[發明專利]一種基于混合現實的復雜設備高風險項目訓練系統

有效

• 申請號: 201911174115.1
• 申請日: 2019-11-26
• 公開（公告）號: CN111047708B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 王崴;羅又文;邱盎;瞿玨;程月盟;楊潔;雷松貴;李淘金
• 申請（專利權）人: 中國人民解放軍空軍工程大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00;G06Q50/20
• 代理公司: 西安睿通知識產權代理事務所(特殊普通合伙) 61218
• 代理人: 惠文軒

1.一種基于混合現實的復雜設備高風險項目訓練系統，其特征在于，包括復雜設備、服務器、混合現實設備、控制器和無線路由器；所述服務器與混合現實設備通過無線路由器進行網絡連接；所述復雜設備由實裝訓練部分和控制臺組成；

所述服務器采用三維建模工具構建與實裝訓練部分相同的虛擬三維模型，解算虛擬三維模型的空間定位和運動信息，并通過無線網絡與混合現實設備進行通訊；

所述混合現實設備接收虛擬三維模型及其空間定位和運動信息，并對其進行投影顯示，以與佩戴用戶進行交互；

佩戴用戶通過控制操作臺、手勢或語音的方式與虛擬三維模型進行交互；

所述控制臺固定于訓練場地上，且其上貼有標志圖片；通過在服務器中設置虛擬三維模型與標志圖片的位置關系，使得當混合現實設備讀取到控制臺上的標志圖片，即可實現虛擬三維模型顯示位置與控制臺實際位置的配合，進而實現虛實融合；

所述控制臺通過驅動將佩戴用戶的操作信號傳輸至服務器，服務器對該操作進行解算后，生成新的空間定位和運動信息，反饋至混合現實設備進行投影顯示。

2.根據權利要求1所述的基于混合現實的復雜設備高風險項目訓練系統，其特征在于，所述混合現實設備包含存儲器、處理器、圖像采集器和聲音采集器；

所述圖像采集器用于采集佩戴用戶的手勢指令，并將采集到的手勢指令數據實時同步至服務器；

所述聲音采集器用于采集佩戴用戶的語音指令；并將采集到的語音指令數據實時同步至服務器；

所述處理器用于將服務器傳來的交互信息解析成虛擬三維模型運動相對應的指令信息，并控制虛擬三維模型根據該指令信息進行對應運動；

所述存儲器將訓練時模型的運動狀態信息記錄并保存。

3.根據權利要求1所述的基于混合現實的復雜設備高風險項目訓練系統，其特征在于，所述采用三維建模工具構建與實裝訓練部分相同的虛擬三維模型，解算虛擬三維模型的空間定位和運動信息，其具體為：

首先，利用Rhino的3DS Max模型構建實裝訓練部分的各部件；

其次，通過分析實裝訓練部分的各部件之間的運動依賴關系，設置實裝訓練部分的各部件之間的父子嵌套關系，進而構建整個三維虛擬裝填模型運動場景樹；

最后，采用以Unity 3D為核心的三維仿真渲染引擎，用Unity Shader著色器對模型表面進行紋理渲染，得到虛擬三維模型。

4.根據權利要求3所述的基于混合現實的復雜設備高風險項目訓練系統，其特征在于，所述利用Rhino的3DS Max模型構建實裝訓練部分的各部件，其采用網格建模、面片建模和/或NURBS建模；其中，對于外表看起來堅硬且細節較少的部位采用網格建模；對于表面光滑的、有組織的部位采用面片建模和/或NURBS建模。

5.根據權利要求1所述的基于混合現實的復雜設備高風險項目訓練系統，其特征在于，所述構建虛擬三維模型為利用室內SLAM標定法將虛擬三維模型的空間坐標位置絕對化，并確定以該虛擬三維模型為參照的統一世界坐標系。

6.根據權利要求5所述的基于混合現實的復雜設備高風險項目訓練系統，其特征在于，所述服務器與多個混合現實設備進行通訊，每個混合現實設備與服務器形成一對一通訊；多個混合現實設備間具有相同的認知層級。

7.根據權利要求6所述的基于混合現實的復雜設備高風險項目訓練系統，其特征在于，在服務器-混合現實設備的一對一通訊模式中引入host域內消息一致性檢測，即在多個混合現實設備間加入實時信息同步機制。