[發(fā)明專利]一種基于“Eye in Hand”模型的陶瓷制品三維點云重建方法

在審

• 申請?zhí)枺?/td>: 202011491884.7
• 申請日: 2020-12-17
• 公開（公告）號: CN112634435A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 陳鑫;龔旋;簡旭;賀文朋
• 申請（專利權(quán)）人: 中國地質(zhì)大學(xué)（武漢）
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 武漢知產(chǎn)時代知識產(chǎn)權(quán)代理有限公司 42238
• 代理人: 張毅

1.一種基于“Eye in Hand”模型的陶瓷制品三維點云重建方法，其特征在于，包括以下步驟：

S1、構(gòu)建基于“Eye in Hand”模型的三維重建系統(tǒng)，并進行雙目相機標定和手眼模型系統(tǒng)標定，分別獲取相機內(nèi)外參以及相機坐標系到機械臂末端坐標系的手眼轉(zhuǎn)換矩陣E；

S2、操作機械臂進行多視角的陶瓷制品圖像采集，并實時記錄當時的機械臂笛卡爾空間坐標，即機械臂末端相對于機械臂基座標系的位姿，經(jīng)由轉(zhuǎn)換得到多個視角下的機械臂末端坐標系相對于機械臂基座的轉(zhuǎn)換矩陣F；

S3、完成多視角的陶瓷制品圖像采集的同時進行陶瓷制品彩色和深度圖像的對齊，利用相機內(nèi)外參、手眼轉(zhuǎn)換矩陣E以及機械臂末端坐標系相對于機械臂基座的轉(zhuǎn)換矩陣F進行點云坐標配準和拼接，得到多視角下的陶瓷制品場景點云模型；

S4、對S3得到多視角下的陶瓷制品場景點云模型進行實時點云濾波，提取出目標純凈的三維點云模型,最后生成PCD點云文件；

S5、根據(jù)S4三維點云模型上的點測量陶瓷制品的尺寸得到陶瓷制品三維點的重建效果并對其進行誤差估量。

2.根據(jù)權(quán)利要求1所述的一種基于“Eye in Hand”模型的陶瓷制品三維點云重建方法，其特征在于，步驟S1中所述手眼轉(zhuǎn)換矩陣E的計算方式如下：

首先，得到機械臂和相機以及標定板之間的位姿關(guān)系：

其中代表標定板到機械手末端工具坐標系的轉(zhuǎn)換關(guān)系矩，代表機械臂末端工具坐標系到機械臂基座標系的轉(zhuǎn)換關(guān)系矩陣，代表相機坐標系到機械手末端工具坐標系的轉(zhuǎn)換關(guān)系矩陣，代表標定板到相機坐標系的轉(zhuǎn)換關(guān)系矩陣，即我們進行手眼模型的目的是求得手眼轉(zhuǎn)換矩陣E，即控制機械臂在另外不同位置進行棋盤格拍照，位姿滿足下式：

綜合上式得到手眼轉(zhuǎn)換公式：

AX＝XB

其中A為B為A和B不是固定的，通過機械臂底層運動控制器獲得，控制機械臂以各個關(guān)節(jié)不同位姿在一定距離內(nèi)移動，并在多個視角位置中拍照，獲得多組AX＝XB方程，并計算手眼矩陣E的值。

3.根據(jù)權(quán)利要求1所述的一種基于“Eye in Hand”模型的陶瓷制品三維點云重建方法，其特征在于，選擇一個直接進行多視角配準的基準坐標系，將不同視角下的點云快速配準并轉(zhuǎn)換到基準坐標系下后進行拼接，所述步驟S3中進行點云坐標配準具體如下：

由相機內(nèi)外參、手眼轉(zhuǎn)換矩陣X以及每個視角下的機械臂位姿轉(zhuǎn)換矩陣轉(zhuǎn)換矩陣F即來計算每個視角下的點云在相機坐標系到機械臂基座標坐系下的轉(zhuǎn)換矩陣首先，由相機內(nèi)參計算相機坐標系下的陶瓷制品三維坐標，公式如下：

其中，Z為Realsence雙目相機通過三角測量原理得到陶瓷制品上的點P的深度值，點P在像素坐標系中的坐標為為(u,v),(u₀,v₀)表示為圖像像素坐標系中光軸投影坐標即主點坐標，1/dx和1/dy表示像素坐標系分別為在X方向上每個像素的物理尺寸和在Y方向上每個像素的物理尺寸，f為相機焦距；

然后基于相機坐標系下的陶瓷制品三維坐標手眼轉(zhuǎn)換矩陣X以及每個視角下的機械臂位姿矩陣，采用下式進行多視角下點云的配準：

其中，P為相機坐標系下的陶瓷制品三維坐標，P′為機械臂基座標系下的陶瓷制品三維坐標，具體表達式如下：

其中，S為圖像尺寸比例因子，在圖像尺寸不變的情況下為1；T_3*1為配準后的轉(zhuǎn)換矩陣F即不同視角下的中的平移矩陣；R_3*3為配準后的中的旋轉(zhuǎn)矩陣矩陣，X`、Y`以及Z`為配準之后的坐標。