[發明專利]一種AR輔助的機械模擬操作方法和系統

有效

• 申請號: 202110224421.2
• 申請日: 2021-03-01
• 公開（公告）號: CN113034668B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 許子楨;于濤;孫宏翔;宋超;劉磊;梁邦永;龍君凱
• 申請（專利權）人: 中科數據（青島）科技信息有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G09B9/00
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李祺

1.一種AR輔助的機械模擬操作方法，其特征在于，基于LightHouse室內定位技術，所述機械模擬操作方法包括：

機械數字孿生步驟，生成一機械設備的機械三維模型，基于一通信協議實時讀取所述機械設備的運行數據，并在一三維渲染環境中將所述運行數據與所述機械三維模型結合；

虛擬貨物實現步驟，將所述機械設備可支持的貨物進行三維建模，生成一貨物三維模型并放入所述三維渲染環境中；

三維模擬展示步驟，根據所述貨物三維模型的信息操作所述機械設備，并在所述三維渲染環境中根據所述運行數據將所述機械三維模型進行重合操作展示；

其中，所述三維模擬展示步驟包括：獲取所述貨物三維模型的圖像信息，以所述圖像信息做為虛擬貨物，通過AR顯示將所述機械設備與所述虛擬貨物融合顯示在顯示端中，所述機械設備在真實空間中對所述虛擬貨物進行虛擬抓取擺放操作，并將所述虛擬抓取擺放操作實時讀取至所述機械三維模型，所述機械三維模型在所述三維渲染環境中通過碰撞檢測對所述貨物三維模型進行所述重合操作。

2.如權利要求1所述的AR輔助的機械模擬操作方法，其特征在于，所述機械數字孿生步驟包括：基于OpcUA標準通信協議實時讀取所述機械設備的運行數據。

3.如權利要求1或2所述的AR輔助的機械模擬操作方法，其特征在于，所述虛擬貨物實現步驟還包括：在所述三維渲染環境中，根據需求對所述貨物三維模型進行虛擬擺放。

4.如權利要求3所述的AR輔助的機械模擬操作方法，其特征在于，所述三維模擬展示步驟包括：

運動模擬步驟，獲取所述貨物三維模型的圖像信息，根據所述圖像信息對所述機械設備進行操作，并將所述機械三維模型進行重合操作；

畫面融合步驟，獲取所述機械設備的操作畫面，在所述三維渲染環境中將所述機械三維模型、所述貨物三維模型和所述機械設備的操作畫面進行融合展示。

5.如權利要求4所述的AR輔助的機械模擬操作方法，其特征在于，所述運動模擬步驟還包括：在所述機械設備上安裝一覆蓋所述機械設備運行全流程的攝像頭，并在所述三維渲染環境中，于所述機械三維模型的相應位置構建一虛擬攝像頭。

6.如權利要求5所述的AR輔助的機械模擬操作方法，其特征在于，所述運動模擬步驟還包括：通過所述虛擬攝像頭模擬拍攝所述貨物三維模型的圖像信息，并將所述圖像信息傳輸至所述機械設備。

7.如權利要求6所述的AR輔助的機械模擬操作方法，其特征在于，所述畫面融合步驟還包括：通過所述攝像頭獲取所述機械設備在真實環境中進行所述虛擬抓取擺放操作的實際畫面，并將所述實際畫面與所述三維渲染環境進行畫面融合。

8.一種AR輔助的機械模擬操作系統，其特征在于，基于LightHouse室內定位技術，所述機械模擬操作系統包括：

機械數字孿生單元，生成一機械設備的機械三維模型，基于一通信協議實時讀取所述機械設備的運行數據，并在一三維渲染環境中將所述運行數據與所述機械三維模型結合；

虛擬貨物實現單元，將所述機械設備可支持的貨物進行三維建模，生成一貨物三維模型并放入所述三維渲染環境中；

三維模擬展示單元，根據所述貨物三維模型的信息操作所述機械設備，并在所述三維渲染環境中根據所述運行數據將所述機械三維模型進行重合操作展示；

其中，所述三維模擬展示單元獲取所述貨物三維模型的圖像信息，以所述圖像信息做為虛擬貨物，通過AR顯示將所述機械設備與所述虛擬貨物融合顯示在顯示端中，所述機械設備在真實空間中對所述虛擬貨物進行虛擬抓取擺放操作，并將所述虛擬抓取擺放操作實時讀取至所述機械三維模型，所述機械三維模型在所述三維渲染環境中通過碰撞檢測對所述貨物三維模型進行所述重合操作。

9.如權利要求8所述的AR輔助的機械模擬操作系統，其特征在于，所述三維模擬展示單元包括：

運動模擬模塊，獲取所述貨物三維模型的圖像信息，根據所述圖像信息對所述機械設備進行操作，并將所述機械三維模型進行重合操作；

畫面融合模塊，獲取所述機械設備的操作畫面，在所述三維渲染環境中將所述機械三維模型、所述貨物三維模型和所述機械設備的操作畫面進行融合展示。