[發(fā)明專利]一種使用雙層非線性優(yōu)化的雙目視覺手眼標(biāo)定方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310399048.3
• 申請(qǐng)日: 2023-04-14
• 公開（公告）號(hào): CN116619354A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 陳琳;韓澤;鐘國威;高港;潘海鴻
• 申請(qǐng)（專利權(quán)）人: 廣西大學(xué)
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種使用雙層非線性優(yōu)化的雙目視覺手眼標(biāo)定方法，至少包含一套雙目相機(jī)系統(tǒng)、一塊棋盤格標(biāo)定板和一個(gè)工業(yè)機(jī)器人，雙目相機(jī)系統(tǒng)固定在機(jī)器人末端上，標(biāo)定過程中棋盤格標(biāo)定板位置保持固定；所述雙目相機(jī)系統(tǒng)是指兩臺(tái)相機(jī)平行安裝構(gòu)成的視覺系統(tǒng)；該方法將棋盤格標(biāo)定板置于雙目相機(jī)系統(tǒng)視場(chǎng)內(nèi)，通過采集雙目相機(jī)系統(tǒng)的圖像進(jìn)行手眼矩陣的標(biāo)定，其特征在于雙目視覺手眼標(biāo)定方法使用雙層非線性優(yōu)化算法，其至少包含以下步驟：

步驟1：同時(shí)采集雙目相機(jī)視覺系統(tǒng)下的棋盤格標(biāo)定板圖像：調(diào)整機(jī)器人末端位姿，采集雙目相機(jī)視覺系統(tǒng)拍攝的棋盤格標(biāo)定板圖像，要求共采集n(n≥4)組圖像，每組包含兩張分別由兩臺(tái)相機(jī)采集到的圖像；棋盤格標(biāo)定板能完整呈現(xiàn)在雙目相機(jī)視覺系統(tǒng)視野中；棋盤格標(biāo)定板在圖像采集過程中相對(duì)于機(jī)器人基坐標(biāo)系1-1保持不變；

步驟2：計(jì)算特征點(diǎn)P在機(jī)器人基坐標(biāo)系1-1下的坐標(biāo)P_B：由雙目相機(jī)視覺系統(tǒng)中兩臺(tái)固定的相機(jī)之間的旋轉(zhuǎn)平移關(guān)系求解特征點(diǎn)P在相機(jī)坐標(biāo)系1-3中的坐標(biāo)P_C，然后根據(jù)計(jì)算P_C在機(jī)器人基坐標(biāo)系1-1下的坐標(biāo)P_B的表達(dá)式；所述特征點(diǎn)P是指棋盤格標(biāo)定板某固定的角點(diǎn)；所述是由機(jī)器人運(yùn)動(dòng)參數(shù)計(jì)算得到，為待求的手眼矩陣初始值；

步驟3：求解手眼矩陣的初始值包含了旋轉(zhuǎn)分量R_h2e和平移分量t_h2e，并保證旋轉(zhuǎn)矩陣R的正交性：建立手眼矩陣方程式中為第i次拍照采集的樣本中，特征點(diǎn)P在相機(jī)坐標(biāo)系1-3下坐標(biāo)的齊次形式；使用線性最小二乘法求解手眼矩陣的初始值并對(duì)初始手眼矩陣中的旋轉(zhuǎn)分量R_h2e進(jìn)行歐拉角變換，以保證旋轉(zhuǎn)矩陣R的正交性；

步驟4：對(duì)手眼矩陣初始值進(jìn)行第一次優(yōu)化：構(gòu)建手眼矩陣的初始優(yōu)化模型H₁，并使用LM非線性優(yōu)化法對(duì)手眼矩陣初始值進(jìn)行第一次優(yōu)化，得到第一次優(yōu)化后的手眼矩陣所述初始優(yōu)化模型H₁包含第一次LM優(yōu)化中的誤差函數(shù)W₁和損失函數(shù)L₁；

步驟5：對(duì)第一次優(yōu)化后的手眼矩陣進(jìn)行加入樣本篩選的第二次優(yōu)化；對(duì)手眼矩陣的初始優(yōu)化模型H₁進(jìn)行修正，得到二次優(yōu)化模型H₂，再使用加入樣本篩選的LM非線性優(yōu)化法對(duì)第一次優(yōu)化后的手眼矩陣進(jìn)行第二次優(yōu)化，得到第二次優(yōu)化后的手眼矩陣所述的加入樣本篩選的LM非線性優(yōu)化法，是在LM算法的基礎(chǔ)上，在迭代部分加入了樣本篩選方法；所述對(duì)模型H₁進(jìn)行修正是指優(yōu)化誤差函數(shù)W₁和損失函數(shù)L₁得到二次優(yōu)化模型H₂；所述二次優(yōu)化模型H₂包含帶樣本篩選功能的第二次LM優(yōu)化中的修正誤差函數(shù)W₂和修正損失函數(shù)L₂。

2.根據(jù)權(quán)利要求1所述的一種使用雙層非線性優(yōu)化的雙目視覺手眼標(biāo)定方法，其特征在于：所述步驟1中調(diào)整機(jī)器人末端位姿，采集雙目相機(jī)視覺系統(tǒng)拍攝的棋盤格標(biāo)定板圖像，共采集n(n≥4)組圖像，每組包含兩張分別由兩臺(tái)相機(jī)采集到的圖像；棋盤格標(biāo)定板能完整呈現(xiàn)在雙目相機(jī)視覺系統(tǒng)視野中；所述棋盤格標(biāo)定板的角點(diǎn)分布為橫向8角點(diǎn)，縱向5角點(diǎn)；所述調(diào)整機(jī)器人末端位姿是指在拍攝的過程中要求機(jī)器人末端位置和姿態(tài)發(fā)生改變。

3.根據(jù)權(quán)利要求1所述的一種使用雙層非線性優(yōu)化的雙目視覺手眼標(biāo)定方法，其特征在于：所述步驟2中計(jì)算特征點(diǎn)P在機(jī)器人基坐標(biāo)系1-1下的坐標(biāo)P_B，獲取所述坐標(biāo)P_B的計(jì)算過程為：由相機(jī)標(biāo)定得到的左、右相機(jī)的內(nèi)外參數(shù)求解特征點(diǎn)P在相機(jī)坐標(biāo)系1-3下的坐標(biāo)P_C；根據(jù)可得到特征點(diǎn)P在機(jī)器人基坐標(biāo)系1-1下的坐標(biāo)P_B。