[發(fā)明專利]一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的機(jī)械裝配體圖像分割方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 202011310983.0
• 申請日: 2020-11-20
• 公開（公告）號: CN112288750B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計）人: 陳成軍;張春林;李東年;潘勇;高瑋;趙正旭;洪軍
• 申請（專利權(quán)）人: 青島理工大學(xué)
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T15/08;G06T19/20;G06N3/04;G06N3/08
• 代理公司: 福州科揚(yáng)專利事務(wù)所(普通合伙) 35001
• 代理人: 魏珊珊

本發(fā)明涉及一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的機(jī)械裝配體圖像分割方法，包括以下步驟：通過深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建由編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)組成的機(jī)械裝配體輕量化語義分割模型；建立機(jī)械裝配體數(shù)據(jù)集；將機(jī)械裝配體數(shù)據(jù)集中的深度圖像輸入到編碼器網(wǎng)絡(luò)中進(jìn)行特征提取，獲取高信息質(zhì)量的特征圖；將高信息質(zhì)量的特征圖輸入至解碼器網(wǎng)絡(luò)中，恢復(fù)圖像大小并進(jìn)行特征融合，得到多維分割圖；根據(jù)多維分割圖與對應(yīng)的標(biāo)簽圖像之間的誤差，更新編碼器網(wǎng)絡(luò)中的參數(shù)；利用訓(xùn)練集中的深度圖像，迭代執(zhí)行上述步驟，直到達(dá)到預(yù)設(shè)的訓(xùn)練次數(shù)；測試后輸出機(jī)械裝配體輕量化語義分割模型；利用訓(xùn)練好的機(jī)械裝配體輕量化語義分割模型進(jìn)行圖像分割，分割出機(jī)械裝配體的各零件。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的機(jī)械裝配體圖像分割方法和設(shè)備，屬于計算機(jī)圖像識別和智能制造技術(shù)領(lǐng)域。

背景技術(shù)

當(dāng)前制造業(yè)正迎來大批量個性化定制的生產(chǎn)階段，產(chǎn)品類型的不斷變化將增加產(chǎn)品手動裝配的難度。在復(fù)雜機(jī)械產(chǎn)品裝配過程中，一旦未能及時檢測出裝配過程中出現(xiàn)的錯誤(如裝配順序錯誤、漏裝、錯裝等)，將直接影響機(jī)械產(chǎn)品的質(zhì)量和裝配效率。機(jī)械裝配體圖像分割，可以從機(jī)械裝配體圖像中精確分割出裝配體的已裝配零部件的輪廓和區(qū)域，得到機(jī)械裝配體的相關(guān)信息，可及時發(fā)現(xiàn)裝配過程中的錯誤，從而降低運營成本，縮短產(chǎn)品生產(chǎn)周期，降低不良產(chǎn)品率，對實現(xiàn)機(jī)械裝配體的智能監(jiān)測具有重要的研究意義。

機(jī)械裝配體的圖像分割屬于語義分割研究領(lǐng)域。語義分割是通過對每一個像素進(jìn)行標(biāo)簽值預(yù)測，從而識別出圖像中的內(nèi)容。隨著深度學(xué)習(xí)的不斷發(fā)展，語義分割已經(jīng)應(yīng)用到了各個領(lǐng)域中。在無人駕駛領(lǐng)域中，語義分割方法可分割車載攝像頭或者激光雷達(dá)的圖像，自動識別出行人，人行道，障礙物等，有助于實現(xiàn)自動駕駛。在地理信息領(lǐng)域中，語義分割方法可分割衛(wèi)星遙感影像，識別出影像中的道路，河流，莊稼，建筑物等，有助于地理勘測任務(wù)的完成。在醫(yī)療影像分析領(lǐng)域中，語義分割方法可分割醫(yī)療圖像識別出病理位置和病理種類，有助于幫助醫(yī)生快速判斷病情。

語義分割在機(jī)械領(lǐng)域，特別是在機(jī)械裝配領(lǐng)域中的應(yīng)用研究較少，主要有以下幾個原因：(1)機(jī)械產(chǎn)品結(jié)構(gòu)復(fù)雜，零件之間遮擋嚴(yán)重，會導(dǎo)致機(jī)械裝配體分割不準(zhǔn)確。(2)機(jī)械零件顏色紋理信息單一，增大了機(jī)械裝配體的分割難度。(3)在機(jī)械裝配體分割任務(wù)中，缺乏專用的已標(biāo)注數(shù)據(jù)集，而標(biāo)注數(shù)據(jù)集的質(zhì)量往往決定分割模型的質(zhì)量。

發(fā)明內(nèi)容

為了解決上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的機(jī)械裝配體圖像分割方法、設(shè)備及介質(zhì)，用于采集裝配體的深度圖像，從深度圖像上分割出裝配體的各零部件。

本發(fā)明的技術(shù)方案如下：

技術(shù)方案一：

一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的機(jī)械裝配體圖像分割方法，包括以下步驟：

通過深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建由編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)組成的機(jī)械裝配體輕量化語義分割模型；

建立機(jī)械裝配體數(shù)據(jù)集，建立復(fù)數(shù)個機(jī)械裝配體的三維模型，并對各所述三維模型中的各零件添加標(biāo)記，根據(jù)所述標(biāo)記對所述三維模型進(jìn)行三維渲染，得到不同角度下三維模型的深度圖像和對應(yīng)的標(biāo)簽圖像；從各個三維模型中分別選取一個裝配階段的深度圖像，整合為測試集，剩余的深度圖像作為訓(xùn)練集；

特征提取，將訓(xùn)練集中的深度圖像輸入到所述編碼器網(wǎng)絡(luò)中，對所述深度圖像進(jìn)行特征提取，獲取高信息質(zhì)量的特征圖；

圖像分割，將所述高信息質(zhì)量的特征圖輸入至所述解碼器網(wǎng)絡(luò)中，恢復(fù)圖像大小并進(jìn)行特征融合，得到多維分割圖；

模型優(yōu)化，根據(jù)多維分割圖與對應(yīng)的標(biāo)簽圖像之間的誤差，更新所述編碼器網(wǎng)絡(luò)中的可訓(xùn)練參數(shù)；

模型輸出，利用所述訓(xùn)練集中的深度圖像，迭代執(zhí)行所述特征提取、圖像分割和模型優(yōu)化步驟，直到達(dá)到預(yù)設(shè)的訓(xùn)練次數(shù)；利用所述測試集中的深度圖像對所述機(jī)械裝配體輕量化語義分割模型進(jìn)行驗證，驗證成功后保存所述機(jī)械裝配體輕量化語義分割模型；