[發(fā)明專利]基于增強(qiáng)現(xiàn)實(shí)的無人機(jī)零部件手工鋪層輔助系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 202011208642.2
• 申請日: 2020-11-03
• 公開（公告）號: CN112330818B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 蔣志廣;張立建;陳華俊;張立偉;陳金明;邱鐵成;孟凡雷;陳家平;許貞龍;趙晶晶;趙佳成;韓釗
• 申請（專利權(quán)）人: 北京衛(wèi)星環(huán)境工程研究所
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00;G06T7/73;G06T7/33;G06K9/00;B64F5/10
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 郭棟梁

本發(fā)明提供了一種基于增強(qiáng)現(xiàn)實(shí)的無人機(jī)零部件手工鋪層輔助系統(tǒng)和方法，用以解決現(xiàn)有技術(shù)中無人機(jī)手工鋪層效率低、誤操作多的問題。所述手工鋪層輔助方法，實(shí)時(shí)捕捉無人機(jī)零部件圖像和操作動(dòng)作畫面，生成視頻流數(shù)據(jù)，根據(jù)視頻流數(shù)據(jù)依次匹配出三維模型、三維鋪層模板、目標(biāo)空間位姿及相應(yīng)的鋪層工藝參數(shù)，并對視頻流及匹配數(shù)據(jù)進(jìn)行虛實(shí)融合，逐幀得到實(shí)時(shí)的虛實(shí)融合鋪層工藝視圖，操作人員根據(jù)虛實(shí)融合鋪層工藝視圖進(jìn)行無人機(jī)零部件的手工鋪層操作。本發(fā)明自動(dòng)識(shí)別待鋪層零部件，使零部件在操作過程中實(shí)時(shí)準(zhǔn)確融合虛擬工藝數(shù)據(jù)，優(yōu)化了工藝流程；通過鋪層工藝信息推送，降低了操作人員對工藝的認(rèn)知和記憶負(fù)擔(dān)，提高了鋪層生產(chǎn)效率和產(chǎn)品質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于無人機(jī)總裝領(lǐng)域，具體涉及一種基于增強(qiáng)現(xiàn)實(shí)的無人機(jī)零部件手工鋪層輔助系統(tǒng)及方法。

背景技術(shù)

無人機(jī)鋪層工作是無人機(jī)生產(chǎn)制作過程中的重要生產(chǎn)步驟，無人機(jī)各個(gè)零部件的鋪層制作是無人機(jī)生產(chǎn)制作過程中的重要操作步驟。其中每個(gè)無人機(jī)零部件均由若干個(gè)裁片鋪設(shè)制作而成，裁片是依據(jù)標(biāo)準(zhǔn)制圖將無人機(jī)鋪層專用復(fù)合材料裁剪成的料片，每個(gè)裁片均有對應(yīng)唯一編號；無人機(jī)復(fù)合材料鋪層即將裁片按照工藝要求將相應(yīng)裁片鋪設(shè)至無人機(jī)專用模具上，不僅要保證每個(gè)鋪設(shè)裁片編號正確、順序正確、方向正確，還要保證鋪設(shè)后裁片整體的完整性及后面合模后的成品無裂痕，無開裂。無人機(jī)復(fù)合材料鋪層的角度和順序，是決定零部件力學(xué)性能的重要參數(shù)。由于不同無人機(jī)的鋪層工序，裁片大小，鋪層方向差異化巨大，導(dǎo)致無人機(jī)鋪層時(shí)嚴(yán)重依賴于手工作業(yè)。為了完成作業(yè)，工人首先需從工藝文件或三維模型中獲取所需信息(復(fù)合材料鋪層布料編碼、鋪層順序、鋪層方向、鋪層厚度)，然后在無人機(jī)模具上進(jìn)行裁片鋪設(shè)工作。

現(xiàn)有技術(shù)中，在無人機(jī)鋪層制作現(xiàn)場，一般采用紙質(zhì)文件及固定式看板系統(tǒng)或激光投影系統(tǒng)對鋪層所需信息進(jìn)行展示，鋪層過程中由工人根據(jù)圖紙或個(gè)人鋪層經(jīng)驗(yàn)進(jìn)行操作。但是，由于每個(gè)無人機(jī)零件對應(yīng)裁片較多，同一無人機(jī)零件對應(yīng)相同編號裁片會(huì)有七至九層，不同編號及相應(yīng)層數(shù)均不同，工人為確認(rèn)操作目標(biāo)位置及順序需承受大量額外認(rèn)知負(fù)擔(dān)，嚴(yán)重降低了無人機(jī)鋪層效率。同時(shí)，鋪層工藝對操作人員的技術(shù)經(jīng)驗(yàn)要求較高，紙質(zhì)文件的工藝表達(dá)方式信息查詢困難，難以把握細(xì)節(jié)要求，容易產(chǎn)生錯(cuò)誤理解從而造成錯(cuò)誤操作，例如，多層鋪貼過程中裁片出現(xiàn)搭接、錯(cuò)貼等。而激光投影系統(tǒng)雖然實(shí)現(xiàn)了一定程度上的可視化，但是能耗大，長期使用對人眼有較大傷害，而且無法實(shí)現(xiàn)對現(xiàn)實(shí)工況的數(shù)據(jù)收集和交互，應(yīng)用模式單一。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，本發(fā)明旨在提供一種基于增強(qiáng)現(xiàn)實(shí)的無人機(jī)零部件手工鋪層輔助系統(tǒng)和方法，采用增強(qiáng)現(xiàn)實(shí)，實(shí)現(xiàn)鋪層工藝信息與真實(shí)物理環(huán)境的自動(dòng)匹配，系統(tǒng)性地將抽象化鋪層工藝信息向可視化的增強(qiáng)現(xiàn)實(shí)交互式信息進(jìn)行自動(dòng)轉(zhuǎn)化，針對無人機(jī)鋪層工藝邏輯實(shí)現(xiàn)可視化的操作導(dǎo)引，引導(dǎo)工人完成無人機(jī)手工鋪層操作，提高工作效率，降低錯(cuò)誤率。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例采用如下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供了一種基于增強(qiáng)現(xiàn)實(shí)的無人機(jī)零部件手工鋪層輔助系統(tǒng)，所述手工鋪層輔助系統(tǒng)包括：圖像采集模塊、目標(biāo)識(shí)別模塊、工藝生成模塊、虛實(shí)融合模塊、工藝推送模塊、交互控制模塊、顯示模塊；其中，

所述圖像采集模塊與所述目標(biāo)識(shí)別模塊和虛實(shí)融合模塊相連，用于實(shí)時(shí)捕捉操作平臺(tái)上指定區(qū)域內(nèi)的無人機(jī)零部件圖像和操作動(dòng)作畫面，生成視頻流數(shù)據(jù)供目標(biāo)識(shí)別模塊和虛實(shí)融合模塊讀取；

所述目標(biāo)識(shí)別模塊具有零部件三維模型數(shù)據(jù)庫及三維模板數(shù)據(jù)庫，還與所述工藝生成模塊和虛實(shí)融合模塊相連，用于讀取所述圖像采集模塊中的無人機(jī)零部件圖像的視頻流數(shù)據(jù)，將無人機(jī)零部件圖像與零部件三維模型數(shù)據(jù)庫中的無人機(jī)零部件三維模型相匹配，并基于模型模板匹配算法根據(jù)所識(shí)別的無人機(jī)零部件三維模型與三維模板數(shù)據(jù)庫中的三維鋪層模板進(jìn)行匹配識(shí)別；還用于根據(jù)所識(shí)別的三維鋪層模板生成當(dāng)前目標(biāo)標(biāo)識(shí)符傳遞給工藝生成模塊，并根據(jù)所述三維鋪層模板生成目標(biāo)空間位姿，供虛實(shí)融合模塊調(diào)用；