[發明專利]基于數字孿生的AR單兵與機器人混編作戰系統及其方法

在審

• 申請號: 202010910620.4
• 申請日: 2020-09-02
• 公開（公告）號: CN112150635A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 張晶晶;趙本發;李瑩;高玉水
• 申請（專利權）人: 北京捷安申謀軍工科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/01;F41H11/00
• 代理公司: 石家莊中和昇知識產權代理事務所(特殊普通合伙) 13145
• 代理人: 付會平

1.基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，包括：

地面作戰機器人，能夠伴隨行軍，能夠前出偵察、作戰或執行其他任務；

AR顯示設備，能夠構建AR三維立體虛擬空間，虛實融合顯示真實戰場環境、人員裝備和虛擬目標，對虛擬3D地面作戰機器人進行交互操作，能夠顯示AR電子沙盤，對戰場態勢進行顯示；

穿戴設備，通過數據鏈與地面作戰機器人實時通信，接收地面作戰機器人的運行參數，并與AR顯示設備連接；所述穿戴設備能夠對操控手進行導航定位，并在AR電子沙盤上實時標繪；以及

AR應用系統，能夠將地面作戰機器人及真實戰場環境快速構建為AR三維立體虛擬空間，實現3D地面作戰機器人和真實的地面作戰機器人“共處同一個時空”，具有虛實映射關系，能夠進行數字孿生式的AR單兵與地面作戰機器人混編作戰，實現3D地面作戰機器人對單個或多個真實地面作戰機器人的“領頭羊”功能。

2.根據權利要求1所述的基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，所述地面作戰機器人包括無人車、自動駕駛儀、車載武器、光電轉塔、伺服控制系統和數據鏈車載終端，數據鏈車載終端分別與地面作戰機器人的自動駕駛儀、車載武器、光電轉塔和伺服系統通過標準接口連接。

3.根據權利要求2所述的基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，在所述AR顯示設備構建的AR三維立體虛擬空間內，操控手能夠交互操作3D地面作戰機器人的光電轉塔和自動駕駛儀進行光電偵察、跟蹤瞄準、車輛運動和武器射擊；真實地面作戰機器人與3D地面作戰機器人具有映射關系，能夠復制3D地面作戰機器人的動作，執行行軍、偵察、排雷、排爆、救援和精確射擊作戰任務，用于地面作戰機器人操控技能訓練、作戰方案推演和作戰指揮訓練。

4.根據權利要求2所述的基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，所述穿戴設備能夠插入迷彩服的左/右臂口袋內或戰術背包的側面口袋內；所述穿戴設備包括：

單兵導航定位系統，用于對操控手進行導航定位，單兵導航定位系統的數據自動定位在AR電子沙盤上，顯示操控手的位置；

數據鏈單兵終端，實現遙控、遙測信息和偵察圖像的實時通信，并通過標準接口分別與單兵導航定位系統和AR眼鏡連接；所述數據鏈單兵終端與數據鏈車載終端之間進行數據傳輸；以及

電源模塊，用于提供電能。

5.根據權利要求4所述的基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，所述操控手的位置和速度參數能夠驅動真實的地面作戰機器人前出偵察及攻擊前進，操控手與真實的地面作戰機器人之間的距離與方位每次都在一定的范圍內隨機產生。

6.根據權利要求1所述的基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，所述AR顯示設備為AR眼鏡；所述AR眼鏡包括AR光學模組、微處理器、圖像采集模組、傳感器、通信模組和結構組件；

所述微處理器用于對AR三維立體虛擬空間及3D地面作戰機器人的構建與控制；

所述圖像采集模組用于進行景深圖像處理和手勢識別；

所述傳感器包括頭部追蹤傳感器、手部追蹤傳感器、眼動追蹤傳感器、虹距測量傳感器、語音AI芯片和視頻AI芯片；

所述通信模組包括wifi通信模塊、藍牙通信模塊；

所述結構組件用于對AR光學模組、微處理器、圖像采集模組、傳感器和通信模組進行安裝定位，并集成到單兵護目鏡或直接集成到頭盔上。

7.根據權利要求6所述的基于數字孿生的AR單兵與機器人混編作戰系統，其特征在于，所述AR眼鏡能構建具有沉浸感的虛擬空間，能夠進行虛實融合的空間映射，能夠快速構建AR電子沙盤，進行手動追蹤、眼動追蹤和頭部追蹤，能以人體自然交互的方式對3D地面作戰機器人及其光電轉塔和車載武器進行操控。