[發(fā)明專利]軍事領域基于增強現(xiàn)實的多端融合協(xié)同指揮系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910586319.X
• 申請日: 2019-07-01
• 公開（公告）號: CN110365666B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設計）人: 欒明君;洪巖;欒凱;卞強;寧陽;陳艷;孟德地
• 申請（專利權）人: 中國電子科技集團公司第十五研究所
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06F3/01;G06T19/00;H04N13/332;H04N13/398
• 代理公司: 北京君恒知識產(chǎn)權代理有限公司 11466
• 代理人: 黃啟行

1.軍事領域基于增強現(xiàn)實的多端融合協(xié)同指揮系統(tǒng)，其特征在于，包括用戶權限管理模塊、戰(zhàn)場信源接入模塊、指控系統(tǒng)集成框架模塊、外部內(nèi)容加載模塊、虛擬戰(zhàn)場空間建模模塊、虛擬戰(zhàn)場空間展現(xiàn)模塊、協(xié)同交互共用支撐模塊、人-人影像協(xié)同模塊、人-目標協(xié)同模塊、人-目標交互模塊十部分，所述用戶權限管理模塊包括房間管理、人員管理、權限管理、協(xié)同邀請功能，通過所述人員管理維護所有待加入虛擬場景中參與協(xié)同的用戶信息，通過所述房間管理可由發(fā)起者創(chuàng)建一個虛擬場景中的協(xié)同空間，通過所述協(xié)同邀請可由發(fā)起者選擇人員加入?yún)f(xié)同空間，通過所述權限管理可設置協(xié)同空間內(nèi)每個人的協(xié)同與交互權限，指揮人員在接入虛擬戰(zhàn)場環(huán)境前，需要通過指紋、密碼方式進行登錄驗證，只有通過驗證的用戶才能進入虛擬戰(zhàn)場空間，并使用相關功能；所述戰(zhàn)場信源接入模塊提供以主動或被動的方式對固定環(huán)境、戰(zhàn)術環(huán)境下陸、海、空、天多種信源的引接支持，能夠?qū)崟r獲取到信源進行加工分析后，轉(zhuǎn)化為能夠為協(xié)同指揮提供支撐的戰(zhàn)場態(tài)勢信息與目標綁定，或直接在信源窗口內(nèi)集中展示；所述指控系統(tǒng)集成框架模塊提供對指控系統(tǒng)的集成，支持Web類指控系統(tǒng)應用、RPC、gRPC、Webservice、Restful類指控功能服務的集成，并結合所述人-目標交互模塊功能，實現(xiàn)在虛擬戰(zhàn)場空間中指揮人員對指控系統(tǒng)進行操作，實時刷新系統(tǒng)反饋結果；所述外部內(nèi)容加載模塊是指通過在虛擬戰(zhàn)場空間指定位置開啟內(nèi)容窗口，定期輪詢本地存儲空間內(nèi)的文件并在虛擬戰(zhàn)場環(huán)境的內(nèi)容窗口內(nèi)加載刷新，并結合所述人-目標交互模塊能力實現(xiàn)對內(nèi)容的翻頁、點選操作，提供多種格式內(nèi)容的加載展示，也支持對視頻流的加載展示；所述虛擬戰(zhàn)場空間建模模塊是指結合地理信息系統(tǒng)與建模技術，通過建模過程建造各類目標、地形、植被、樹木模型，基于增強現(xiàn)實設備加載運行后，生成全局虛擬戰(zhàn)場環(huán)境實現(xiàn)對戰(zhàn)場環(huán)境的逼真還原，能從不同角度查看戰(zhàn)場環(huán)境及敵我目標運動狀態(tài)；所述虛擬戰(zhàn)場空間展現(xiàn)模塊提供了多種瀏覽方式，所有這些瀏覽方式的反饋都會通過增強現(xiàn)實設備展現(xiàn)給指揮人員，方便指揮人員從不同角度查看戰(zhàn)場空間；所述協(xié)同交互共用支撐模塊提供了時鐘同步、坐標計算、指令協(xié)同、狀態(tài)協(xié)同功能，所述時鐘同步對用戶間協(xié)同、用戶與內(nèi)容的協(xié)同提供時統(tǒng)支持，所述坐標計算對全息三維人像在虛擬空間中的坐標定位提供基礎算法支撐，所述指令協(xié)同為用戶手勢轉(zhuǎn)化的操作指令向各個眼鏡設備分發(fā)提供支撐，所述狀態(tài)協(xié)同為虛擬場景中發(fā)生改變的目標狀態(tài)向各個眼鏡設備分發(fā)提供支撐；所述人-人影像協(xié)同模塊提供了人物特征提取、多路人像融合、語音降噪、音像同步功能，所述人物特征提取是通過一組深度攝像頭從多個角度采集人像，所述多路人像融合是對不同角度采集的人像提取相關影像參數(shù)，通過拼接組合形成完整的全息三維人像參數(shù)，所述語音降噪是對語音進行降噪處理，所述音像同步是對同一時刻采集的人像和語音進行同步處理，在統(tǒng)一時間基準的前提下分發(fā)到所有眼鏡設備，確保每個人看到其他人同時也能聽到對方的語音；所述人-目標協(xié)同模塊提供了目標狀態(tài)反饋、目標狀態(tài)采集、目標狀態(tài)分發(fā)、目標狀態(tài)同步功能，所述目標狀態(tài)反饋是目標模型根據(jù)交互指令做出不同的反應，驅(qū)動目標位置、形狀、顏色、狀態(tài)、內(nèi)容也隨之改變，所述目標狀態(tài)采集是獲取目標狀態(tài)的改變，提取出具體變化的參數(shù)值，所述目標狀態(tài)分發(fā)是以發(fā)起人為參照，將目標狀態(tài)的改變分發(fā)到所有人的增強現(xiàn)實設備，所述目標狀態(tài)同步是將分發(fā)到指揮人員增強現(xiàn)實設備的目標狀態(tài)與本地目標狀態(tài)的改變進行比對和校驗，如發(fā)現(xiàn)不一致則由部署在增強現(xiàn)實設備中的協(xié)同客戶端進行處理后確保所有增強現(xiàn)實設備中目標狀態(tài)展示的一致性；所述人-目標交互模塊提供手勢特征提取、手勢動作分析、交互指令轉(zhuǎn)換、指向目標定位、手勢指令獲取、語音指令獲取、指令同步分發(fā)、指令動作回調(diào)功能，所述手勢特征提取是從輔助設備感知指揮人員當前手勢的方向、相對位置數(shù)據(jù)，所述手勢動作分析是從輔助設備提取一段時間內(nèi)的手勢的連貫動作，所述交互指令轉(zhuǎn)換是對手勢連貫動作進行分析，與預先定義的手勢動作進行比對并轉(zhuǎn)換為操作指令，所述指向目標定位是根據(jù)手勢方向、相對位置數(shù)據(jù)，結合增強現(xiàn)實場景的坐標體系判別指向目標的坐標、位置，所述手勢指令獲取和所述語音指令獲取是當用戶運用手勢或語音發(fā)出指令時，觸發(fā)指令接口調(diào)用操作，獲取當前根據(jù)手勢或語音識別轉(zhuǎn)化后的指令，所述指令同步分發(fā)是將交互指令同步分發(fā)到其他增強現(xiàn)實設備，所述指令動作回調(diào)是接收到指令后與操作目標建立交互通道并觸發(fā)目標的回調(diào)方法，使得目標執(zhí)行反饋動作。