[發(fā)明專利]一種基于虛擬圖像渲染的自適應(yīng)投影三維測量方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211326297.1
• 申請日: 2022-10-27
• 公開（公告）號: CN115628701A
• 公開（公告）日: 2023-01-20
• 發(fā)明（設(shè)計）人: 李中偉;鐘凱;楊青芃;張攀;蘇玉娥
• 申請（專利權(quán)）人: 華中科技大學(xué);深圳華中科技大學(xué)研究院
• 主分類號: G01B11/25
• 分類號: G01B11/25;G06T17/00
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 王穎翀

1.一種基于虛擬圖像渲染的自適應(yīng)投影三維測量方法，其特征在于，包括：

S1，創(chuàng)建待測工件的三維體素柵格，并存入所述待測工件的光源位置及相機(jī)位置信息，將其轉(zhuǎn)換到相機(jī)坐標(biāo)系后輸入至圖像渲染預(yù)測模型，以預(yù)測所述待測工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

其中，所述圖像渲染預(yù)測模型包括依次連接的3D卷積網(wǎng)絡(luò)、投影單元及2D卷積網(wǎng)絡(luò)；輸入至圖像渲染預(yù)測模型的三維體素柵格經(jīng)3D卷積網(wǎng)絡(luò)進(jìn)行三維卷積后，經(jīng)投影單元從三維空間投影到二維空間，得到二維體素柵格；所述2D卷積網(wǎng)絡(luò)預(yù)測并輸出所述待測工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

S2，根據(jù)所述相機(jī)反射率圖、所述二維體素柵格中每個像素的預(yù)設(shè)最佳強(qiáng)度，以及二維體素柵格中的每個像素在相機(jī)平面和投影儀平面的對應(yīng)關(guān)系，獲取投影儀的自適應(yīng)條紋投影圖像；

S3，向待測工件投影所述自適應(yīng)條紋投影圖像，左右相機(jī)獲取此時待測工件的圖像，計算相位圖并進(jìn)行匹配，重建待測工件的三維點(diǎn)云。

2.如權(quán)利要求1所述的方法，其特征在于，所述2D卷積網(wǎng)絡(luò)以存入了樣件表面的光源位置及相機(jī)位置信息，且轉(zhuǎn)換到相機(jī)坐標(biāo)系的三維體素柵格為輸入，以根據(jù)實際獲取的樣件的多重曝光圖像生成的相機(jī)反射率圖為真值進(jìn)行訓(xùn)練后得到。

3.如權(quán)利要求1或2所述的方法，其特征在于，待測工件及樣件的三維體素柵格還存入了其表面的反光系數(shù)及材質(zhì)紋理特征。

4.如權(quán)利要求1所述的方法，其特征在于，所述相機(jī)位置信息包括可見性特征。

5.如權(quán)利要求1所述的方法，其特征在于，所述每個像素在相機(jī)平面和投影儀平面的對應(yīng)關(guān)系的獲取方式為：

向待測工件投影一系列條紋圖像，左右相機(jī)獲取此時待測工件的圖像，求解絕對相位圖，并將其坐標(biāo)映射到投影儀成像平面，得到每個像素在相機(jī)平面和投影儀平面的對應(yīng)關(guān)系。

6.一種基于虛擬圖像渲染的自適應(yīng)投影三維測量裝置，其特征在于，包括：

輸入模塊，用于創(chuàng)建待測工件的三維體素柵格，并存入所述待測工件的光源位置及相機(jī)位置信息，將其轉(zhuǎn)換到相機(jī)坐標(biāo)系后輸入至圖像渲染預(yù)測模型，以預(yù)測所述待測工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

其中，所述圖像渲染預(yù)測模型包括依次連接的3D卷積網(wǎng)絡(luò)、投影單元及2D卷積網(wǎng)絡(luò)；輸入至圖像渲染預(yù)測模型的三維體素柵格經(jīng)3D卷積網(wǎng)絡(luò)進(jìn)行三維卷積后，經(jīng)投影單元從三維空間投影到二維空間，得到二維體素柵格；所述2D卷積網(wǎng)絡(luò)預(yù)測并輸出所述待測工件在所述光源位置和相機(jī)位置下的相機(jī)反射率圖；

自適應(yīng)條紋投影圖像獲取模塊，用于根據(jù)所述相機(jī)反射率圖計算所述二維體素柵格中每個像素的最佳投影強(qiáng)度；根據(jù)所述最佳投影強(qiáng)度，以及每個像素在相機(jī)平面和投影儀平面的對應(yīng)關(guān)系，獲取投影儀的自適應(yīng)條紋投影圖像；

三維點(diǎn)云重建模塊，用于向待測工件投影所述自適應(yīng)條紋投影圖像，左右相機(jī)獲取此時待測工件的圖像，計算相位圖并進(jìn)行匹配，重建待測工件的三維點(diǎn)云。

7.一種基于虛擬圖像渲染的自適應(yīng)投影三維測量系統(tǒng)，其特征在于，包括：計算機(jī)可讀存儲介質(zhì)和處理器；

所述計算機(jī)可讀存儲介質(zhì)用于存儲可執(zhí)行指令；

所述處理器用于讀取所述計算機(jī)可讀存儲介質(zhì)中存儲的可執(zhí)行指令，執(zhí)行如權(quán)利要求1-5任一項所述的方法。