[發(fā)明專(zhuān)利]一種基于“Eye in Hand”模型的陶瓷制品三維點(diǎn)云重建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011491884.7
• 申請(qǐng)日: 2020-12-17
• 公開(kāi)（公告）號(hào): CN112634435A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 陳鑫;龔旋;簡(jiǎn)旭;賀文朋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)地質(zhì)大學(xué)（武漢）
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00
• 代理公司: 武漢知產(chǎn)時(shí)代知識(shí)產(chǎn)權(quán)代理有限公司 42238
• 代理人: 張毅

本發(fā)明提供一種基于“Eye in Hand”模型的陶瓷制品三維點(diǎn)云重建方法，包括：構(gòu)建基于“Eye in Hand”模型的三維重建系統(tǒng)，并對(duì)陶瓷制品進(jìn)行雙目相機(jī)標(biāo)定和手眼模型系統(tǒng)標(biāo)定；操作機(jī)械臂進(jìn)行多視角的陶瓷制品圖像采集，并實(shí)時(shí)記錄當(dāng)時(shí)的機(jī)械臂笛卡爾空間坐標(biāo)，經(jīng)由轉(zhuǎn)換得到多個(gè)視角下的機(jī)械臂末端坐標(biāo)系相對(duì)于機(jī)械臂基座的轉(zhuǎn)換矩陣；完成多視角的陶瓷制品圖像采集的同時(shí)進(jìn)行陶瓷制品彩色和深度圖像的對(duì)齊，利用相機(jī)內(nèi)外參、手眼轉(zhuǎn)換矩陣以及轉(zhuǎn)換矩陣進(jìn)行點(diǎn)云坐標(biāo)配準(zhǔn)和拼接，得到多視角下的陶瓷制品場(chǎng)景點(diǎn)云模型；對(duì)多視角下的陶瓷制品場(chǎng)景點(diǎn)云模型進(jìn)行實(shí)時(shí)點(diǎn)云濾波，提取出目標(biāo)純凈的三維點(diǎn)云模型；最后對(duì)其進(jìn)行誤差估量。

技術(shù)領(lǐng)域

本發(fā)明涉及三維重建技術(shù)領(lǐng)域，尤其涉及一種基于“Eye in Hand”模型的陶瓷制品三維點(diǎn)云重建方法。

背景技術(shù)

社會(huì)進(jìn)步與人們生活質(zhì)量提升的同時(shí)，人們對(duì)于產(chǎn)品的外觀質(zhì)量給予了越來(lái)越多的關(guān)注，產(chǎn)品的品控與口碑直接影響企業(yè)的發(fā)展前景。近年來(lái)，隨著陶瓷產(chǎn)業(yè)的生產(chǎn)技術(shù)以及機(jī)械化、自動(dòng)化程度也逐漸提高，并引入了大量自動(dòng)化生產(chǎn)設(shè)備和生產(chǎn)線，從煉泥、拉坯、利坯、曬坯、施釉到燒窯已經(jīng)實(shí)現(xiàn)半自動(dòng)化生產(chǎn)，但質(zhì)量檢測(cè)與分級(jí)評(píng)估工序還未實(shí)現(xiàn)自動(dòng)化，主要依靠人眼觀察加輔助觸摸的方式進(jìn)行檢測(cè)與評(píng)估。然而人工檢測(cè)存在勞動(dòng)強(qiáng)度大、檢測(cè)速度慢、主觀性強(qiáng)、漏檢率高等問(wèn)題，嚴(yán)重影響了生產(chǎn)效率和產(chǎn)品品質(zhì)。于是在復(fù)雜的工業(yè)現(xiàn)場(chǎng)，機(jī)器人要對(duì)陶瓷制品進(jìn)行缺陷檢測(cè)和質(zhì)量評(píng)判，往往需要先對(duì)陶瓷制品進(jìn)行多視角的三維重建，因此點(diǎn)云重建較為適合，然后以此引導(dǎo)機(jī)械臂進(jìn)行軌跡規(guī)劃來(lái)近距離進(jìn)行圖像采集和力位融合檢測(cè)。

常規(guī)三維方法由于其表面光滑反光難以對(duì)其進(jìn)行多視角全尺寸的三維重建重建。傳統(tǒng)的多視角點(diǎn)云拼接方法大多數(shù)通過(guò)多幀圖像間的兩兩幀圖像間進(jìn)行特征提取和匹配得到圖像的特征匹配點(diǎn)對(duì)，選擇候選圖像的特征點(diǎn)，再根據(jù)相機(jī)參數(shù)及匹配點(diǎn)對(duì)恢復(fù)出三維模型點(diǎn)；或者從計(jì)算每一個(gè)視角下的2D圖像進(jìn)行特征提取和特征匹配，根據(jù)2D匹配點(diǎn)對(duì)得到3D匹配點(diǎn)對(duì)，并計(jì)算3D匹配點(diǎn)對(duì)的坐標(biāo)變換，以得到每?jī)煞哂兄丿B區(qū)域的3D點(diǎn)云的變換矩陣；根據(jù)變換矩陣計(jì)算全視圖變換矩陣。但這些方法都由于點(diǎn)云數(shù)量龐大，且特征匹配和點(diǎn)云幀之間的旋轉(zhuǎn)矩陣和平移矩陣計(jì)算耗費(fèi)大量的時(shí)間，且算法設(shè)計(jì)對(duì)硬件要求高而適用有限。其次對(duì)于陶瓷一類(lèi)表面光滑反光且弱紋理的對(duì)象而言，其表面特征點(diǎn)少，導(dǎo)致立體匹配不準(zhǔn)確或失敗，難以進(jìn)行常規(guī)方法的立體匹配而三維重建。

針對(duì)這一類(lèi)對(duì)象，本發(fā)明提出了一種基于“Eye in Hand”模型的陶瓷制品三維點(diǎn)云重建方法，以解決陶瓷制品造型復(fù)雜多變，表面光滑反光且紋理弱難以進(jìn)行多視角三維點(diǎn)云重建的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明目的是提供一種基于“Eye in Hand”模型的陶瓷制品三維點(diǎn)云重建方法，包括以下步驟：

S1、構(gòu)建基于“Eye in Hand”模型的三維重建系統(tǒng)，并進(jìn)行雙目相機(jī)標(biāo)定和手眼模型系統(tǒng)標(biāo)定，分別獲取相機(jī)內(nèi)外參以及相機(jī)坐標(biāo)系到機(jī)械臂末端坐標(biāo)系的手眼轉(zhuǎn)換矩陣E；

S2、操作機(jī)械臂進(jìn)行多視角的陶瓷制品圖像采集，并實(shí)時(shí)記錄當(dāng)時(shí)的機(jī)械臂笛卡爾空間坐標(biāo)，即機(jī)械臂末端相對(duì)于機(jī)械臂基座標(biāo)系的位姿，經(jīng)由轉(zhuǎn)換得到多個(gè)視角下的機(jī)械臂末端坐標(biāo)系相對(duì)于機(jī)械臂基座的轉(zhuǎn)換矩陣F；

S3、完成多視角的陶瓷制品圖像采集的同時(shí)進(jìn)行陶瓷制品彩色和深度圖像的對(duì)齊，利用相機(jī)內(nèi)外參、手眼轉(zhuǎn)換矩陣E以及轉(zhuǎn)換矩陣F進(jìn)行點(diǎn)云坐標(biāo)配準(zhǔn)和拼接，得到多視角下的陶瓷制品場(chǎng)景點(diǎn)云模型；

S4、對(duì)S3得到多視角下的陶瓷制品場(chǎng)景點(diǎn)云模型進(jìn)行實(shí)時(shí)點(diǎn)云濾波，提取出目標(biāo)純凈的三維點(diǎn)云模型,最后生成PCD點(diǎn)云文件；

S5、根據(jù)S4三維點(diǎn)云模型上的點(diǎn)測(cè)量陶瓷制品的尺寸得到陶瓷制品三維點(diǎn)的重建效果并對(duì)其進(jìn)行誤差估量。