[發明專利]電機產線增強現實監控方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010881928.0
• 申請日: 2020-08-27
• 公開（公告）號: CN111966068A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 楊祖偉;石浩;鮑蔚祺;黃先鋒;馬莉
• 申請（專利權）人: 上海電機系統節能工程技術研究中心有限公司;上海電器科學研究所（集團）有限公司;上海電科電機科技有限公司
• 主分類號: G05B19/418
• 分類號: G05B19/418
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 蔣姍

1.一種電機產線增強現實監控方法，其特征在于，應用于仿真模塊，所述方法包括：

建立電機產線的數字孿生模型；

通過實時數據采集模塊獲取所述電機產線的實時數據，所述實時數據包括產線信息和產品信息；

基于所述實時數據驅動所述數字孿生模型運轉，獲得虛擬電機產線信息；

將所述虛擬電機產線信息發送至虛實融合模塊和監控模塊，以使所述虛實融合模塊基于所述虛擬電機產線信息獲得增強現實信息，以及所述監控模塊基于所述虛擬電機產線信息和所述增強現實信息對所述電機產線進行虛擬現實顯示或增強現實顯示。

2.根據權利要求1所述的方法，其特征在于，所述建立電機產線的數字孿生模型，包括：

通過真實相機獲取所述電機產線的真實圖像；

對所述真實圖像進行目標特征提取，獲得特征圖像；

基于所述特征圖像建立所述數字孿生模型。

3.根據權利要求1所述的方法，其特征在于，所述數字孿生模型包括所述電機產線的各個設備的子模型，所述電機產線的設備包括六軸機器人、插紙機、繞嵌一體機、綁扎機和輸送導軌中的至少一個。

4.根據權利要求3所述的方法，其特征在于，所述通過實時數據采集模塊獲取所述電機產線的實時數據，包括：

通過所述實時數據采集模塊的Modbus接口采集所述電機產線的所述各個設備的可編程邏輯控制器PLC實時數據，所述PLC實時數據為所述產線信息，所述PLC實時數據包括機器人各關節角度、機器人抓手控制指令、加工設備狀態信息、加工設備運動結構的控制指令中的至少一個；

通過所述實時數據采集模塊的開放數據庫連接ODBC接口采集制造企業生產過程執行管理系統中與所述電機產線對應的所述產品信息，所述生產信息包括工單編號、物料編碼和工單計劃中的至少一個。

5.一種電機產線增強現實監控方法，其特征在于，應用于虛實融合模塊，所述方法包括：

通過真實相機采集電機產線的真實圖像；

通過仿真模塊獲取虛擬電機產線信息；

基于所述真實圖像和所述虛擬電機產線信息生成增強現實信息；

將所述增強現實信息發送至監控模塊，以使所述監控模塊基于所述增強現實信息對所述電機產線進行增強現實顯示。

6.根據權利要求5所述的方法，其特征在于，所述基于所述真實圖像和所述虛擬電機產線信息生成增強現實信息，包括：

獲取所述虛擬電機產線信息中所述電機產線的虛擬坐標數據；

基于所述虛擬坐標數據確定虛擬相機姿態，所述虛擬相機姿態包括位置和姿態數據；

基于所述真實圖像確定所述真實相機的真實相機姿態；

基于所述真實相機姿態和所述虛擬相機姿態，將所述真實圖像與所述虛擬電機產線信息中的虛擬物體進行融合，獲得所述增強現實信息。

7.一種電機產線增強現實監控裝置，其特征在于，應用于仿真模塊，所述裝置包括：

模型建立模塊，用于建立電機產線的數字孿生模型；

實時數據獲取模塊，用于通過實時數據采集模塊獲取所述電機產線的實時數據，所述實時數據包括產線信息和產品信息；

虛擬現實模塊，用于基于所述實時數據驅動所述數字孿生模型運轉，獲得虛擬電機產線信息；

第一發送模塊，用于將所述虛擬電機產線信息發送至虛實融合模塊和監控模塊，以使所述虛實融合模塊基于所述虛擬電機產線信息獲得增強現實信息，以及所述監控模塊基于所述虛擬電機產線信息和所述增強現實信息對所述電機產線進行虛擬現實顯示或增強現實顯示。

8.一種電機產線增強現實監控裝置，其特征在于，應用于虛實融合模塊，所述裝置包括：

真實圖像獲取模塊，用于通過真實相機采集電機產線的真實圖像；

虛擬信息獲取模塊，用于通過仿真模塊獲取虛擬電機產線信息；

增強現實模塊，用于基于所述真實圖像和所述虛擬電機產線信息生成增強現實信息；

第二發送模塊，用于將所述增強現實信息發送至監控模塊，以使所述監控模塊基于所述增強現實信息對所述電機產線進行增強現實顯示。