[發明專利]一種AR輔助的機械模擬操作方法和系統

有效

• 申請號: 202110224421.2
• 申請日: 2021-03-01
• 公開（公告）號: CN113034668B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 許子楨;于濤;孫宏翔;宋超;劉磊;梁邦永;龍君凱
• 申請（專利權）人: 中科數據（青島）科技信息有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G09B9/00
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李祺

本發明提出一種基于LightHouse室內定位技術的AR輔助的機械模擬操作方法和系統，機械模擬操作方法包括機械數字孿生步驟，生成一機械設備的機械三維模型，基于一通信協議實時讀取機械設備的運行數據，并在一三維渲染環境中將運行數據與機械三維模型結合；虛擬貨物實現步驟，將機械設備可支持的貨物進行三維建模，生成一貨物三維模型并放入三維渲染環境中；三維模擬展示步驟，根據貨物三維模型的信息操作機械設備，并在三維渲染環境中根據運行數據將機械三維模型進行重合操作展示。本發明解決了現有智能機械設備實訓教學場景中抓取物種類單一、難以與真實生產環境相結合的問題，以及AR圖片識別在定位識別上準確度差和局限性高的問題。

技術領域

本發明屬于增強現實領域，尤其涉及一種AR輔助的機械模擬操作方法和系統。

背景技術

在高端智能制造設備操作的實訓教學場景中，現有技術通過機械手抓取以及采用圖像識別程序，對真實抓取物進行抓取操作,其缺點在于抓取物種類單一,從而難以與真實生產環境相結合，同時在實際使用中發現，在高端智能制造設備操作的實訓教學場景中使用的增強現實圖片識別,還存在有精度低,易被遮擋,距離近等問題。

發明內容

本申請實施例提供了一種AR輔助的機械模擬操作方法和系統，以至少解決現有智能機械設備實訓教學場景中抓取物種類單一、難以與真實生產環境相結合的問題。

第一方面，本申請實施例提供了一種AR輔助的機械模擬操作方法，包括：機械數字孿生步驟，生成一機械設備的機械三維模型，基于一通信協議實時讀取所述機械設備的運行數據，并在一三維渲染環境中將所述運行數據與所述機械三維模型結合；虛擬貨物實現步驟，將所述機械設備可支持的貨物進行三維建模，生成一貨物三維模型并放入所述三維渲染環境中；三維模擬展示步驟，根據所述貨物三維模型的信息操作所述機械設備，并在所述三維渲染環境中根據所述運行數據將所述機械三維模型進行重合操作展示。

優選的，所述機械數字孿生步驟包括：基于OpcUA標準通信協議實時讀取所述機械設備的運行數據。

優選的，其特征在于，所述虛擬貨物實現步驟還包括：在所述三維渲染環境中，根據需求對所述貨物三維模型進行虛擬擺放。

優選的，所述三維模擬展示步驟包括：運動模擬步驟，獲取所述貨物三維模型的圖像信息，根據所述圖像信息對所述機械設備進行操作，并將所述機械三維模型進行重合操作；畫面融合步驟，獲取所述機械設備的操作畫面，在所述三維渲染環境中將所述機械三維模型、所述貨物三維模型和所述機械設備的操作畫面進行融合展示。

優選的，所述運動模擬步驟還包括：在所述機械設備上安裝一覆蓋所述機械設備運行全流程的攝像頭，并在所述三維渲染環境中，于所述機械三維模型的相應位置構建一虛擬攝像頭。

優選的，所述運動模擬步驟還包括：通過所述虛擬攝像頭模擬拍攝所述貨物三維模型的的圖像信息，并將所述圖像信息傳輸至所述機械設備。

優選的，所述運動模擬步驟還包括：所述機械設備根據所述圖像信息，在真實環境中進行虛擬抓取擺放操作，并將所述虛擬抓取擺放操作實時讀取至所述機械三維模型，所述機械三維模型在所述三維渲染環境中通過碰撞檢測對所述貨物三維模型進行所述重合操作。

優選的，所述畫面融合步驟還包括：通過所述攝像頭獲取所述機械設備在真實環境中進行所述虛擬抓取擺放操作的實際畫面，并將所述實際畫面與所述三維渲染環境進行畫面融合。

第二方面，本申請實施例提供了一種AR輔助的機械模擬操作系統，適用于上述一種AR輔助的機械模擬操作方法，包括：機械數字孿生單元，生成一機械設備的機械三維模型，基于一通信協議實時讀取所述機械設備的運行數據，并在一三維渲染環境中將所述運行數據與所述機械三維模型結合；虛擬貨物實現單元，將所述機械設備可支持的貨物進行三維建模，生成一貨物三維模型并放入所述三維渲染環境中；三維模擬展示單元，根據所述貨物三維模型的信息操作所述機械設備，并在所述三維渲染環境中根據所述運行數據將所述機械三維模型進行重合操作展示。