[發明專利]裝備制造裝配過程中的AR指導方法

在審

• 申請號: 202110006602.8
• 申請日: 2021-01-05
• 公開（公告）號: CN112634467A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 蒲曉珉;周宏林;邊曉光;蔣林;劉芙伶;吳小田
• 申請（專利權）人: 東方電氣集團科學技術研究院有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00
• 代理公司: 成都天嘉專利事務所(普通合伙) 51211
• 代理人: 蘇丹

1.一種裝備制造裝配過程中的AR指導方法，其特征在于：包括以下步驟：

步驟一，準備硬件：硬件為AR終端；

步驟二，首先設置多個場景，每個場景為一步裝配或檢修工序，每個場景鏈接到相應的下一步場景，每個場景都擁有獨立的模型、素材、文字和語音資源；

步驟三，在每個場景設置有不限于如下區域：裝配工藝區、三維動畫區和現實場景疊加區；

其中裝配工藝區通過文字呈現，對每一裝配/檢修步驟進行文字描述；

其中三維動畫區用于三維模型演示，將當前步驟的操作過程以三維動畫方式呈現在界面上；

其中現實場景疊加區用于現實場景的呈現與虛擬元素的疊加，通過對圖像的處理，將AR終端的攝像頭拍攝到的現實世界畫面與工程中攝像頭所拍攝到的虛擬物體相結合，呈現出虛擬效果與現實的融合。

2.根據權利要求1所述的一種裝備制造裝配過程中的AR指導方法，其特征在于：所述三維動畫區實現的具體步驟如下：

1）三維模型建模：將場景對應的操作對象進行三維建模得到操作對象模型，并對操作步驟所用到的工具也進行三維建模得到工具模型；

2）模型輕量化：對模型中的多余細節部分進行刪減；

3）裝配/檢修動畫制作：在動畫制作軟件中創建工程，利用工具模型和操作對象模型，將此裝配步驟以動畫的模式進行設計，使其能直觀展示當前工藝步驟；

4）屏幕固定位置：將三維模型定位在屏幕中固定位置，在工程中將各模型綁定在攝像機下，作為攝像機的子物體；

5）模型互動：通過檢測工人的手指數量及動作來實現模型互動。

3.根據權利要求1所述的一種裝備制造裝配過程中的AR指導方法，其特征在于：現實場景疊加區實現的具體步驟如下：

1）對待裝配零件/場景拍照：將當前場景步驟所需裝配的零件或場景進行拍照，拍照角度應與一般工人觀察角度一致；

2）美術元素制作：對需要取用的工具的安裝或拆卸位置進行實時的標注與提醒；

3）工程內位置綁定：將所照照片上傳至工程中，作為待識別圖像；并將準備顯示的美術元素放置到照片的相應位置，對應想要指示的實際物體上的相應位置；

4）圖像識別：終端設備的攝像頭對準待裝配零件與場景，攝像頭會將當前場景與工程內置的照片相比較，識別圖像特征點，一旦認為當前場景與內置圖片相匹配，就在對應位置顯示出事先綁定在圖片上的美術資源，實現指示效果；

5）語音綁定：采用人工錄音或語音合成的方式，提前制作語音片段，并在工程里進行設置調用。