[發(fā)明專利]一種基于虛擬圖像渲染的自適應(yīng)投影三維測(cè)量方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211326297.1
• 申請(qǐng)日: 2022-10-27
• 公開(kāi)（公告）號(hào): CN115628701A
• 公開(kāi)（公告）日: 2023-01-20
• 發(fā)明（設(shè)計(jì)）人: 李中偉;鐘凱;楊青芃;張攀;蘇玉娥
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué);深圳華中科技大學(xué)研究院
• 主分類號(hào): G01B11/25
• 分類號(hào): G01B11/25;G06T17/00
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 王穎翀

本發(fā)明公開(kāi)了一種基于虛擬圖像渲染的自適應(yīng)投影三維測(cè)量方法及系統(tǒng)，建立了耦合投影成像特性與尺度自適應(yīng)體素多維度特征的圖像渲染模型，基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)相機(jī)反射率的預(yù)測(cè)，然后根據(jù)相機(jī)反射率圖計(jì)算最優(yōu)的投影強(qiáng)度，這種全新的嘗試有望擺脫對(duì)實(shí)際圖像的依賴，實(shí)現(xiàn)仿真環(huán)境下視點(diǎn)自動(dòng)規(guī)劃；其中，使用數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，并根據(jù)不同的反射情況計(jì)算最佳的投影強(qiáng)度，極大地提升了測(cè)量的魯棒性；本發(fā)明提供的方法根據(jù)當(dāng)前體素表面的反射特性自動(dòng)計(jì)算自適應(yīng)投影參數(shù)，以最少視點(diǎn)獲取高質(zhì)三維數(shù)據(jù)，能夠克服傳統(tǒng)方法投影強(qiáng)度參數(shù)選擇難的問(wèn)題，為視點(diǎn)規(guī)劃提供必需的基礎(chǔ)數(shù)據(jù)和評(píng)估參數(shù)。

技術(shù)領(lǐng)域

本發(fā)明屬于面結(jié)構(gòu)光三維測(cè)量領(lǐng)域，更具體地，涉及一種基于虛擬圖像渲染的自適應(yīng)投影三維測(cè)量方法及系統(tǒng)。

背景技術(shù)

目前在工業(yè)零件測(cè)量領(lǐng)域，將線激光和面結(jié)構(gòu)光等非接觸式測(cè)量技術(shù)與工業(yè)機(jī)器人等運(yùn)動(dòng)機(jī)構(gòu)相結(jié)合，實(shí)現(xiàn)復(fù)雜零件自動(dòng)化快速三維測(cè)量，得到了廣泛的應(yīng)用。然而這種技術(shù)仍存在測(cè)量視點(diǎn)配置參數(shù)自動(dòng)調(diào)優(yōu)難的問(wèn)題。航空發(fā)動(dòng)機(jī)葉片、機(jī)匣等復(fù)雜零件表面通常呈現(xiàn)多反射特性(高光反射、弱反射以及多次反射等)，影響測(cè)量數(shù)據(jù)質(zhì)量，因此在規(guī)劃測(cè)量視點(diǎn)時(shí)，需要同步設(shè)置該視點(diǎn)的曝光時(shí)間序列，但現(xiàn)階段物體表面特征與投影面結(jié)構(gòu)光之間的相互作用機(jī)制不明確，仿真環(huán)境下難以渲染出逼真的測(cè)量圖像，導(dǎo)致生成視點(diǎn)時(shí)無(wú)法同步自動(dòng)調(diào)優(yōu)測(cè)量配置參數(shù)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于虛擬圖像渲染的自適應(yīng)投影三維測(cè)量方法及系統(tǒng)，由此解決現(xiàn)有技術(shù)難以兼顧測(cè)量的質(zhì)量與效率的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的第一方面，提供了一種基于虛擬圖像渲染的自適應(yīng)投影三維測(cè)量方法，包括：

S1，創(chuàng)建待測(cè)工件的三維體素柵格，并存入所述待測(cè)工件的光源位置及相機(jī)位置信息，將其轉(zhuǎn)換到相機(jī)坐標(biāo)系后輸入至圖像渲染預(yù)測(cè)模型，以預(yù)測(cè)所述待測(cè)工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

其中，所述圖像渲染預(yù)測(cè)模型包括依次連接的3D卷積網(wǎng)絡(luò)、投影單元及2D卷積網(wǎng)絡(luò)；輸入至圖像渲染預(yù)測(cè)模型的三維體素柵格經(jīng)3D卷積網(wǎng)絡(luò)進(jìn)行三維卷積后，經(jīng)投影單元從三維空間投影到二維空間，得到二維體素柵格；所述2D卷積網(wǎng)絡(luò)預(yù)測(cè)并輸出所述待測(cè)工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

S2，根據(jù)所述相機(jī)反射率圖、所述二維體素柵格中每個(gè)像素的預(yù)設(shè)最佳強(qiáng)度，以及二維體素柵格中的每個(gè)像素在相機(jī)平面和投影儀平面的對(duì)應(yīng)關(guān)系，獲取投影儀的自適應(yīng)條紋投影圖像。

S3，向待測(cè)工件投影所述自適應(yīng)條紋投影圖像，左右相機(jī)獲取此時(shí)待測(cè)工件的圖像，計(jì)算相位圖并進(jìn)行匹配，重建待測(cè)工件的三維點(diǎn)云。

按照本發(fā)明的第二方面，提供了一種基于虛擬圖像渲染的自適應(yīng)投影三維測(cè)量裝置，包括：

輸入模塊，用于創(chuàng)建待測(cè)工件的三維體素柵格，并存入所述待測(cè)工件的光源位置及相機(jī)位置信息，將其轉(zhuǎn)換到相機(jī)坐標(biāo)系后輸入至圖像渲染預(yù)測(cè)模型，以預(yù)測(cè)所述待測(cè)工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

其中，所述圖像渲染預(yù)測(cè)模型包括依次連接的3D卷積網(wǎng)絡(luò)、投影單元及2D卷積網(wǎng)絡(luò)；輸入至圖像渲染預(yù)測(cè)模型的三維體素柵格經(jīng)3D卷積網(wǎng)絡(luò)進(jìn)行三維卷積后，經(jīng)投影單元從三維空間投影到二維空間，得到二維體素柵格；所述2D卷積網(wǎng)絡(luò)預(yù)測(cè)并輸出所述待測(cè)工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

自適應(yīng)條紋投影圖像獲取模塊，用于根據(jù)所述相機(jī)反射率圖計(jì)算所述二維體素柵格中每個(gè)像素的最佳投影強(qiáng)度；根據(jù)所述最佳投影強(qiáng)度，以及每個(gè)像素在相機(jī)平面和投影儀平面的對(duì)應(yīng)關(guān)系，獲取投影儀的自適應(yīng)條紋投影圖像；

三維點(diǎn)云重建模塊，用于向待測(cè)工件投影所述自適應(yīng)條紋投影圖像，左右相機(jī)獲取此時(shí)待測(cè)工件的圖像，計(jì)算相位圖并進(jìn)行匹配，重建待測(cè)工件的三維點(diǎn)云。