[發明專利]一種基于混合現實的搜救流程仿真與交互系統及方法

有效

• 申請號: 201911191637.2
• 申請日: 2019-11-28
• 公開（公告）號: CN110910511B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 劉虎;吉祥;田永亮;王梓兆;李玉格
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/05;G06F3/01;G06F3/16
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 黃川;史繼穎

1.一種利用基于混合現實的搜救流程仿真與交互系統的仿真與交互方法，其特征在于，所述系統包括物理實體模塊、信息窗口模塊、小地圖模塊、局部視角模塊、輔助標志模塊和全局地圖模塊，

所述物理實體模塊用于展示搜救流程及各主體之間的行為關系，所述主體包括搜救地點地形、遇險待救人員、通訊設施、搜救裝備及衛星，所述搜救地點地形為基于真實地形環境數據搭建的仿真模型；

所述信息窗口模塊用于展示搜救過程中的關鍵信息，所述關鍵信息包括搜救任務的評估結果和流程規劃、搜救時間、遇險信息的傳達與接收、指揮部下達的指令、遇險待救人員和搜救裝備的態勢；

所述小地圖模塊用于展示搜救流程所涉及到的全部地域并標記當前場景在全部地域的具體位置，并且實現從局部地圖到全局地圖的切換；

所述局部視角模塊用于多角度展示搜救裝備的細節；

所述輔助標志模塊用于展示搜救裝備和遇險待救人員之間的交互關系，展示方法包括利用動態波模擬展示遇險信號發送和接收過程，利用射線模擬展示搜救裝備途中加油、搜救裝備發現和救起遇險待救人員，利用亮點閃爍模擬展示遇險待救人員發出的照明信號；

所述全局地圖模塊用于展示地理位置跨度較大的搜救階段的飛行過程，包括展示不同搜救裝備的起飛先后順序、起飛地點、飛行航線、飛行跨越的地區以及降落地點；

所述方法包括如下步驟：

S1：將搜救流程仿真分為發現與通報仿真階段、事件評估與任務計劃仿真階段、任務執行仿真階段和任務結束仿真階段；

S2：對發現與通報仿真階段的搜救事件進行分解，從包括目標、環境、力量和不確定因素的四個維度對搜救事件進行任務建模，提取任務的決策點用來進行Agent建模；

S3：獲取搜救事件的位置信息，并根據位置信息與搜救任務范圍確定仿真涉及的任務環境空間；

S4：利用遙感衛星高分地圖，獲取任務環境空間的地表信息；

S5：根據步驟S2中建立的任務模型對Agent進行建模:基于面向對象的思想，構建搜救裝備的代理人基模型ABM；

S6:在發現與通報仿真階段和任務執行仿真階段的宏觀演示端添加信息窗口模塊、小地圖模塊、局部視角模塊以及輔助標志模塊；在事件評估與任務計劃仿真階段和任務結束仿真階段的宏觀演示端添加信息窗口模塊、全局地圖模塊以及輔助標志模塊；

S7：基于微軟發布的HoloLens Toolkit,在Unity3D開發引擎中完成全部搜救流程仿真與交互方法的構建，添加凝視控制、手勢控制以及語音控制，并在混合現實顯示設備HoloLens中發布調試，最終完成基于混合現實的應急搜救仿真與交互。

2.根據權利要求1所述的方法，其特征在于，步驟S2具體包括如下步驟：

S201：建立搜救事件的環境模型，其中隨機初始環境；

S202：確定應急搜救任務模型的目標維，目標維包括救援目標的數量、類型、位置和行為，救援目標的行為體現為活動的不可控Agent或不可控Agent集群；

S203：確定應急救援模型的力量維，力量維包括任務分配模型、出動規劃模型、搜救決策模型以及路徑規劃模型的建立，力量維體現為活動的可控Agent集群；

S204：確定應急搜救任務模型的不確定因素維，不確定因素維包括人為干擾因素的出現消失與運動變化、天氣突變、救援行動中的突發事故，不確定因素維體現為不可控的隨機量或Agent集群。

3.根據權利要求1所述的方法，其特征在于，步驟S4中，通過將記錄環境高程信息的raw格式文件與記錄地表形態的png格式文件進行疊加，建立起完整的三維真實基礎地形，在完成基礎地形構建之后，進行精細化的場景構建，包括樹木、河流、民房、工事與其他要素，綜合構成任務環境基本地表信息。