[發明專利]一種基于混合現實的搜救流程仿真與交互系統及方法

有效

• 申請號: 201911191637.2
• 申請日: 2019-11-28
• 公開（公告）號: CN110910511B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 劉虎;吉祥;田永亮;王梓兆;李玉格
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/05;G06F3/01;G06F3/16
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 黃川;史繼穎

本發明公開了一種基于混合現實的搜救流程仿真與交互系統，包括物理實體模塊、信息窗口模塊、小地圖模塊、局部視角模塊、輔助標志模塊和全局地圖模塊。本發明還公開了一種基于混合現實的搜救流程仿真與交互方法。本發明采用多智能體的設計思想，使用HoloLens開發工具，允許用戶與虛實兩種對象進行交互，并且提出了應急搜救仿真信息展示的框架與元素。采用本發明提供的應急搜救仿真信息展示方法，不僅可以更加高效地展示應急搜救的態勢與進展，還能使指揮人員在觀察虛擬現場態勢的同時接受真實環境的信息，很大程度上提升了應急搜救觀察與決策的效率。

技術領域

本發明屬于計算機仿真領域，特別涉及一種應用于航空應急搜救仿真的基于混合現實的搜救流程仿真與交互系統及方法。

背景技術

目前，虛擬現實技術逐漸被應用于應急搜救、戰場搜救等領域。基于虛擬現實的仿真方法可以滿足搜救指揮人員實時并直觀了解現場態勢的需求，加快指揮人員對搜救進展的了解，促進應急搜救、戰場搜救的實時優化。然而在虛擬現實仿真方法中，人可觀察的環境是完全虛擬的，使得參與仿真的人員完全與現實環境隔離，不便與現實環境進行信息交互。

混合現實技術是將虛擬對象固定于現實環境之中。與僅僅覆蓋現實世界的虛擬現實技術不同，混合現實允許用戶與虛實兩種對象進行交互。目前隨著微軟HoloLens MR眼鏡的推出，混合現實技術快速進入實際應用。期望一種使用混合現實方法進行應急搜救仿真的方法，以使指揮人員在觀察虛擬現場態勢的同時接受真實環境的信息，從而在很大程度上提升應急搜救觀察與決策的效率。

發明內容

為此，本發明提供了一種基于混合現實的應急搜救仿真與交互系統及方法，其采用多智能體的設計思想，使用HoloLens開發工具，允許用戶與虛實兩種對象進行交互，并且提出了應急搜救仿真信息展示的框架與元素。

本發明提供了一種基于混合現實的搜救流程仿真與交互系統，包括物理實體模塊、信息窗口模塊、小地圖模塊、局部視角模塊、輔助標志模塊和全局地圖模塊，

所述物理實體模塊用于展示搜救流程及各主體之間的行為關系，所述主體包括搜救地點地形、遇險待救人員、通訊設施、搜救裝備及衛星，所述搜救地點地形為基于真實地形環境數據搭建的仿真模型；

所述信息窗口模塊用于展示搜救過程中的關鍵信息，所述關鍵信息包括搜救任務的評估結果和流程規劃、搜救時間、遇險信息的傳達與接收、指揮部下達的指令、遇險待救人員和搜救裝備的態勢；

所述小地圖模塊用于展示搜救流程所涉及到的全部地域并標記當前場景在全部地域的具體位置，并且實現從局部地圖到全局地圖的切換；

所述局部視角模塊用于多角度展示搜救裝備的細節；

所述輔助標志模塊用于展示搜救裝備和遇險待救人員之間的交互關系，展示方法包括利用動態波模擬展示遇險信號發送和接收過程，利用射線模擬展示搜救裝備途中加油、搜救裝備發現和救起遇險待救人員，利用亮點閃爍模擬展示遇險待救人員發出的照明信號；

所述全局地圖模塊用于展示地理位置跨度較大的搜救階段的飛行過程，包括展示不同搜救裝備的起飛先后順序、起飛地點、飛行航線、飛行跨越的地區以及降落地點。

進一步，所述搜救裝備包括偵察機、救援飛機、支援飛機、衛星、搜救目標以及指揮中心六種Agent，所述六種Agent是整個仿真階段的行動主體，各Agent具有基本的運動及碰撞檢測系統。

進一步，所述信息窗口模塊根據搜救流程的進行，對搜救事件的進展進行文字解釋。

進一步，所述搜救裝備的細節包括搜救裝備種類、搜救裝備型號、搜救裝備構成。

本發明還提供了一種基于上述系統的搜救流程仿真與交互方法，包括如下步驟：

S1：將搜救流程仿真分為發現與通報仿真階段、事件評估與任務計劃仿真階段、任務執行仿真階段和任務結束仿真階段；