[發明專利]一種基于AR技術的MOCVD設備維修輔助方法及系統

在審

• 申請號: 202010860359.1
• 申請日: 2020-08-25
• 公開（公告）號: CN111950506A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 李健;羅鐵成;王鋼;裴艷麗
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06Q10/00;H04N7/18
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 李思坪

1.一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，包括以下步驟：

調用用戶端攝像頭獲取當前視頻圖像并上傳，得到視頻信息；

通過目標識別算法對視頻信息進行圖像模板識別，得到檢測目標；

將檢測目標與資料庫內的設備匹配，得到設備信息；

將設備信息添加至視頻信息后進行視頻處理，得到AR視頻；

將AR視頻回傳至用戶端。

2.根據權利要求1所述一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，所述調用用戶端攝像頭獲取當前視頻圖像并上傳，得到視頻信息這一步驟之前，還包括：

發送請求指令并確認用戶端的IP地址。

3.根據權利要求2所述一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，所述通過目標識別算法對視頻信息進行圖像模板識別，得到檢測目標這一步驟，其具體包括：

根據視頻信息中的圖像和目標識別算法生成特征圖；

將特征圖輸入到預訓練的分類模型，得到檢測目標。

4.根據權利要求3所述一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，所述根據視頻信息中的圖像和目標識別算法生成特征圖這一步驟，其具體包括：

對視頻信息進行分幀，并將分幀后的圖像逐幀輸入卷積神經網絡；

通過窗口建議網絡生成建議窗口并映射到卷積神經網絡的最后一層，得到固定尺寸的特征圖。

5.根據權利要求4所述一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，所述預訓練的分類模型具體為通過探測分類概率和探測邊框回歸對分類概率和邊框回歸聯合訓練得出的分類模型。

6.根據權利要求5所述一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，所述設備信息包括零件規格、設備結構和操作規范信息。

7.根據權利要求6所述一種基于AR技術的MOCVD設備維修輔助方法，其特征在于，視頻圖像上傳和視頻回傳均采用視頻流方式傳輸。

8.一種基于AR技術的MOCVD設備維修輔助系統，其特征在于，包括：

用戶端，用于獲取當前圖像并向服務端發送數據、接收來自服務端返回的AR視頻并實時播放；

服務器端，用于接收來自用戶端發送的視頻圖像信息并對視頻圖像信息進行識別、與資料庫內的設備匹配后進行視頻處理，得到AR視頻并回傳至用戶端。

9.根據權利要求8所述一種基于AR技術的MOCVD設備維修輔助系統，其特征在于，所述服務器端包括目標識別模塊、匹配模塊、視頻處理模塊和AR生成模塊。