[發(fā)明專利]一種基于語義的激光條紋中心線提取及擬合方法

有效

• 申請?zhí)枺?/td>: 202011209079.0
• 申請日: 2020-11-03
• 公開（公告）號: CN112381948B
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計(jì)）人: 陶衛(wèi);趙輝;呂娜;崔斌;陳鋮;陳啟恒;孫逸
• 申請（專利權(quán)）人: 上海交通大學(xué)煙臺信息技術(shù)研究院;上海交通大學(xué)
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/13;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海旭誠知識產(chǎn)權(quán)代理有限公司 31220
• 代理人: 鄭立

本發(fā)明公開了一種基于語義的激光條紋中心線提取及擬合方法，涉及三維測量與識別領(lǐng)域。該方法包括以下步驟：數(shù)據(jù)預(yù)處理；使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割的條紋語義分類；模糊填補(bǔ)以及語義表征。該方法在獲取已知Z軸向空間坐標(biāo)信息的激光條紋中心線后，將該條紋劃分為至少一個(gè)單元，使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測所含全部單元在預(yù)設(shè)的語義類別中，所屬的n個(gè)條紋段語義類別及各語義類別所對應(yīng)的表征函數(shù)。再以條紋的單向封閉性為準(zhǔn)則，填充任兩單元間的空白區(qū)域即模糊區(qū)的語義信息。該方法可將三維空間內(nèi)的激光條紋賦予各類語義特征，進(jìn)而實(shí)現(xiàn)高精度的激光點(diǎn)云擬合與表征。

技術(shù)領(lǐng)域

本發(fā)明涉及三維測量與識別領(lǐng)域，尤其涉及一種基于語義的激光條紋中心線提取及擬合方法。

背景技術(shù)

高精度三維測量不止在工業(yè)制造進(jìn)程中發(fā)揮著重要作用，同時(shí)也被廣泛應(yīng)用于光學(xué)精密工程、航空航天、機(jī)器人、芯片制造、汽車制造、水下探測等領(lǐng)域，成為越來越多的工業(yè)應(yīng)用領(lǐng)域中功能實(shí)現(xiàn)、設(shè)備數(shù)據(jù)獲取、零件數(shù)據(jù)獲取、精度分析、質(zhì)量檢測等必不可少的環(huán)節(jié)。

隨著制造精度的越來越高，非接觸式測量逐漸成為主流趨勢。其中，基于線結(jié)構(gòu)光的高精度三維測量方法逐漸成為熱點(diǎn)。該方法具有非接觸、高精度、高速度、適用性廣等突出的優(yōu)勢，成為三維測量的主流趨勢。由于被測目標(biāo)的多樣性，物體輪廓中會包含多個(gè)分段，對于這種復(fù)雜測量的情況，要進(jìn)一步分析物體的三維信息，必須先對復(fù)雜目標(biāo)進(jìn)行分段與提取。然而，現(xiàn)有的激光三維測量中存在著精度低、效率差、條紋邊界模糊等問題。

因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種基于語義的激光條紋中心線提取及擬合方法。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是如何使測量條紋的邊界圖像更清晰。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于語義的激光條紋中心線提取及擬合方法，其特征在于，包括以下步驟：

步驟1、數(shù)據(jù)預(yù)處理；

步驟2、使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割的條紋語義分類；

步驟3、模糊填補(bǔ)；

步驟4、語義表征。

進(jìn)一步地，所述步驟1包括：在光刀法三維重建系統(tǒng)中獲取原始數(shù)據(jù)，將三維空間點(diǎn)云分割為以幀為載體的待語義識別與表征的單元，并將所述單元保存為數(shù)據(jù)幀；所述數(shù)據(jù)幀還具有時(shí)間戳及光切法中的位移信息，所述時(shí)間戳及光切法中的位移信息作為三維空間中的z軸向基準(zhǔn)；所述數(shù)據(jù)幀處于幀平面空間中；將各所述數(shù)據(jù)幀中的條紋劃分為至少一個(gè)待語義識別與表征的單元。

進(jìn)一步地，所述步驟2包括：以各所述數(shù)據(jù)幀所含的所述單元的特征信息為輸入，利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割，得到各所述單元的預(yù)測結(jié)果；所述預(yù)測結(jié)果包括：預(yù)測出的多個(gè)語義類別，以及所述多個(gè)語義類別中每一個(gè)語義類別所對應(yīng)的表征函數(shù)。

進(jìn)一步地，所述步驟3包括：以所述條紋的單向封閉性為準(zhǔn)則，填充任意兩個(gè)所述單元間的空白區(qū)域的語義信息，所述語義信息至少包括訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的輸出。

進(jìn)一步地，所述步驟4包括：以所述條紋的所述語義信息為基準(zhǔn)，同時(shí)結(jié)合所述數(shù)據(jù)幀所具有的空間特征向量信息，將所述語義信息與所述空間特征向量信息賦予三維空間中的各點(diǎn)，得到所述各點(diǎn)在三維空間中的語義表征信息。

進(jìn)一步地，所述幀平面空間具有光切法的最小分辨力為基準(zhǔn)的單元厚度。

進(jìn)一步地，所述多個(gè)語義類別包括：包含直角、銳角、鈍角等三類的角特征點(diǎn)；直線段；包含凸曲線、凹曲線等兩類連續(xù)的分段曲線；階躍處(或近似階躍處)由于線結(jié)構(gòu)光源特點(diǎn)顯示為漸變曲線的局部線段。