[發(fā)明專利]一種基于增強(qiáng)現(xiàn)實(shí)的裝配引導(dǎo)方法、系統(tǒng)及應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202110337423.2
• 申請(qǐng)日: 2021-03-30
• 公開(kāi)（公告）號(hào): CN112734945B
• 公開(kāi)（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 莫威;朱建;吳京京
• 申請(qǐng)（專利權(quán)）人: 上海交大智邦科技有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T7/73;G06T7/13;G06T7/33;G06F9/445;G06F30/17;G06Q50/04
• 代理公司: 北京清大紫荊知識(shí)產(chǎn)權(quán)代理有限公司 11718
• 代理人: 秦亞群;馮振華

1.一種基于增強(qiáng)現(xiàn)實(shí)的裝配引導(dǎo)方法，其特征在于：包括以下步驟：

S1、待裝配體的零件模型輪廓信息與裝配信息獲取并存儲(chǔ)，將零件模型輪廓信息和裝配信息解析為結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)的獲取方法為：設(shè)計(jì)開(kāi)發(fā)裝配工藝解析插件，對(duì)待裝配體裝配工藝文件和裝配信息讀取，獲得零件模型輪廓信息與裝配信息并解析為結(jié)構(gòu)化數(shù)據(jù)；其中，裝配信息包括裝配順序、裝配工藝要求、裝配引導(dǎo)信息、裝配標(biāo)注信息；

S2、依據(jù)相機(jī)識(shí)別并捕捉操作臺(tái)上待裝配體的所有零件的位姿信息，為AR場(chǎng)景提供零件的三維跟蹤注冊(cè)矩陣，對(duì)現(xiàn)實(shí)場(chǎng)景中零件進(jìn)行動(dòng)態(tài)跟蹤及定位，以搭建增強(qiáng)現(xiàn)實(shí)場(chǎng)景，其中位姿信息包括零件模型輪廓信息、位置信息；

S3、根據(jù)相機(jī)實(shí)時(shí)獲取零件的當(dāng)前位置圖像，提取零件的三維邊緣輪廓特征信息，并與S1中存儲(chǔ)的零件輪廓信息匹配，區(qū)分在當(dāng)前狀態(tài)下待裝配體的基礎(chǔ)件和其余零件；

S4、將輪廓信息匹配數(shù)據(jù)和裝配信息，結(jié)合三維跟蹤注冊(cè)矩陣和當(dāng)前位置圖像，在基礎(chǔ)件的待裝配位置處高亮顯示裝配引導(dǎo)信息；

S5、對(duì)操作臺(tái)上其余零件中的待裝配零件，進(jìn)行包絡(luò)體高亮化標(biāo)識(shí)，引導(dǎo)操作者抓取物體進(jìn)行裝配，所述包絡(luò)體是基于三維邊緣輪廓特征信息，利用體素化方式生成的，以建立待裝配零件的碰撞體；

S6、步驟S5裝配過(guò)程中，動(dòng)態(tài)視覺(jué)識(shí)別判斷裝配情況，實(shí)現(xiàn)虛實(shí)融合；動(dòng)態(tài)視覺(jué)識(shí)別判斷裝配情況的方法為：根據(jù)碰撞體與待裝配零件的重合度比例，判別裝配是否完成、待裝配零件是否存在錯(cuò)件、待裝配零件是否存在漏件；或根據(jù)碰撞體與待裝配零件的重合度比例及位置信息，判別待裝配零件是否存在裝配位姿差異，判斷待裝配零件是否裝反；

S7、重復(fù)步驟S3至S6，將所有的零件進(jìn)行引導(dǎo)裝配，直至待裝配體完成裝配。

2.根據(jù)權(quán)利要求1所述的裝配引導(dǎo)方法，其特征在于：步驟S1中，結(jié)構(gòu)化數(shù)據(jù)的獲取方法為：設(shè)計(jì)開(kāi)發(fā)裝配工藝解析插件，采用開(kāi)發(fā)裝配工藝解析插件通過(guò)標(biāo)準(zhǔn)數(shù)據(jù)讀取接口和標(biāo)準(zhǔn)解析模板，對(duì)CAD軟件中待裝配體的三維模型的裝配工藝文件和裝配信息讀取，獲得零件模型輪廓信息與裝配信息，將零件模型輪廓信息與裝配信息解析為結(jié)構(gòu)化數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的裝配引導(dǎo)方法，其特征在于：步驟S3中，零件的當(dāng)前位置圖像的識(shí)別與捕捉，是基于深度學(xué)習(xí)輪廓識(shí)別方法獲取。

4.一種基于增強(qiáng)現(xiàn)實(shí)的裝配引導(dǎo)系統(tǒng)，其特征在于：采用權(quán)利要求1至3任一項(xiàng)的裝配引導(dǎo)方法對(duì)待裝配體進(jìn)行裝配引導(dǎo)，裝配引導(dǎo)系統(tǒng)包括視覺(jué)模塊、演算模塊、播放模塊；

所述視覺(jué)模塊用于采集當(dāng)前裝配過(guò)程中基礎(chǔ)件及其余零件的實(shí)時(shí)影像，并獲取實(shí)時(shí)影像的特征點(diǎn)信息；

所述演算模塊用于采用視覺(jué)算法獲取待裝配零件的包絡(luò)體信息及裝配檢測(cè)信息，并結(jié)合預(yù)設(shè)的待裝配零件3D模型數(shù)據(jù)，對(duì)實(shí)時(shí)影像中的視頻幀進(jìn)行演算，得到三維注冊(cè)矩陣與待裝配體的當(dāng)前裝配狀態(tài)；

所述播放模塊用于圖形渲染引擎，結(jié)合演算模塊的數(shù)據(jù)，實(shí)時(shí)輸出裝配的圖像信息。

5.根據(jù)權(quán)利要求4所述的裝配引導(dǎo)系統(tǒng)，其特征在于：所述播放模塊輸出的圖像信息可通過(guò)頭戴式、手持式和空間展示三類設(shè)備進(jìn)行呈現(xiàn)。

6.根據(jù)權(quán)利要求4所述的裝配引導(dǎo)系統(tǒng)，其特征在于：所述播放模塊輸出的圖像信息，是以三維引擎的世界坐標(biāo)原點(diǎn)置于基礎(chǔ)件的圖像中心，讀取數(shù)據(jù)庫(kù)中零件的輪廓特征及裝配信息，結(jié)合三維注冊(cè)矩陣生成零件的三維模型；結(jié)合裝配工藝文件與裝配過(guò)程判斷，高亮待裝配零件的包絡(luò)體，高亮待裝配零件的三維模型，顯示裝配工藝要求。

7.一種基于增強(qiáng)現(xiàn)實(shí)的裝配引導(dǎo)系統(tǒng)的應(yīng)用，其特征在于：應(yīng)用權(quán)利要求1至3任一項(xiàng)的裝配引導(dǎo)方法及權(quán)利要求4至6任一項(xiàng)的裝配引導(dǎo)系統(tǒng)對(duì)復(fù)雜結(jié)構(gòu)工件進(jìn)行裝配，所述復(fù)雜結(jié)構(gòu)工件包括航天器。