[發明專利]裝備制造裝配過程中的AR指導方法

在審

• 申請號: 202110006602.8
• 申請日: 2021-01-05
• 公開（公告）號: CN112634467A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 蒲曉珉;周宏林;邊曉光;蔣林;劉芙伶;吳小田
• 申請（專利權）人: 東方電氣集團科學技術研究院有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00
• 代理公司: 成都天嘉專利事務所(普通合伙) 51211
• 代理人: 蘇丹

本申請屬于裝備制造/裝配的虛擬現實應用技術領域，尤其涉及一種裝備制造裝配過程中的AR指導方法，包括以下步驟：步驟一，準備硬件：硬件為AR終端；步驟二，首先設置多個場景，每個場景為一步裝配或檢修工序，每個場景鏈接到相應的下一步場景，每個場景都擁有獨立的模型、素材、文字和語音資源；步驟三，在每個場景設置有不限于如下區域：裝配工藝區、三維動畫區和現實場景疊加區；本申請通過三維動畫模型、文字標題、實時標注、語音介紹等相結合的方式，可以以更直觀的可視化的方式對現場操作人員進行指導，極大地提高現場技術人員的操作效率，檢查步驟完整性，提高準確性，降低作業風險，指導新手快速入門。

技術領域

本申請屬于裝備制造/裝配的虛擬現實應用技術領域，尤其涉及一種裝備制造裝配過程中的AR指導方法。

背景技術

虛擬（增強）現實(Virtual Reality, VR/Augmented Reality, AR)指借助近眼顯示、感知交互、渲染處理、網絡傳輸和內容制作等新一代信息通信技術，構建身臨其境與虛實融合沉浸體驗所涉及的產品和服務。從廣義上來看，虛擬現實包含增強現實，狹義而言彼此獨立。增強現實強調虛擬現實與現實環境的“無縫”融合。虛擬現實憑借逼真的沉浸感和良好的交互性受到工業界的廣泛關注。目前國內虛擬現實技術的工業解決方案以教學培訓為主，實際參與生產環節的應用仍待技術和產業上的進一步成熟。國內某裝備企業有利用AR設備與技術進行設備生產的作業指導，但僅為示范展示用途，在實物上進行了一些文字和圖標的操作步驟、流程的展示，并未深入實際操作需求，研究AR指導在生產裝配環節的實用方法。

鑒于工業生產的復雜性，在自動化智能化生產流程中，還有大量環節需要依賴人工參與解決。而近年整體用人成本日益高昂，面臨著一些顯著的問題，比如：藍領工人的高流動性，熟練工成本高且招聘困難；專家技師數量少、成本高；新人培養周期長，成本高，師徒傳承效率低下。傳統的組裝通常由專業技術工人完成，而復雜的生產作業，存在工人容易遺忘、操作規范執行不到位的情況，需要加強培訓和實操才能熟練掌握，這在很大程度上增加了員工培訓的成本，給傳統的作業指導提出了新的挑戰。

傳統的圖紙文件及檢修裝配等工藝文件，以文字方式展現，難以快速深入理解，實時查閱效率低。國內某裝備企業有利用AR設備與技術進行設備生產的作業指導，但僅為示范展示用途，在實物上進行了一些文字和圖標的操作步驟、流程的展示，并未深入實際操作需求，研究AR指導在生產裝配環節的實用方法，展示效果依然不夠直觀和方便參考。

發明內容

為解決現有技術存在的上述問題，現提出一種裝備制造裝配過程中的AR指導方法，本方法結合模型互動，關鍵區域標注，語音，文字等指導方式，對工人形成快速有效指導。

為實現上述技術效果，本申請的具體方案為：

一種裝備制造裝配過程中的AR指導方法，包括以下步驟：

步驟一，準備硬件：硬件為AR終端。

步驟二，首先設置多個場景，每個場景為一步裝配或檢修工序，每個場景鏈接到相應的下一步場景。每個場景都擁有獨立的模型、素材、文字和語音資源。

步驟三，在每個場景設置有不限于如下區域：裝配工藝區、三維動畫區和現實場景疊加區。

其中裝配工藝區通過文字呈現，對每一裝配/檢修步驟進行文字描述。

其中三維動畫區用于三維模型演示，將當前步驟的操作過程以三維動畫方式呈現在界面上。

其中現實場景疊加區用于現實場景的呈現與虛擬元素的疊加，通過對圖像的處理，將AR終端的攝像頭拍攝到的現實世界畫面與工程中攝像頭所拍攝到的虛擬物體相結合。

進一步地，所述三維動畫區實現的具體步驟如下：

1）三維模型建模：將場景對應的操作對象進行三維建模得到操作對象模型，并對操作步驟所用到的工具也進行三維建模得到工具模型；

2）模型輕量化：對模型中的多余細節部分進行刪減；