[發(fā)明專利]一種應用于深海機械臂作業(yè)的視覺引導的方法

在審

• 申請?zhí)枺?/td>: 202011581501.5
• 申請日: 2020-12-28
• 公開（公告）號: CN112509065A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設計）人: 聶余滿;劉宏偉;王耀雄;湯遠洋;曹平國;汪洲;高理富;曹會彬;孫玉香;王大慶;周心悅
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00
• 代理公司: 合肥市長遠專利代理事務所(普通合伙) 34119
• 代理人: 劉勇

1.一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，包括以下步驟：

S1、在空氣中使用雙目系統(tǒng)進行雙目標定，得到相機的內外參數(shù)；

S2、在機械臂上標記固定E個標記點，記錄空氣中標記點的位置，得到空氣中標記點深度信息；

S3、拍攝深海水下標記點的圖像，記錄標記點的位置，得到標記點深度信息；

S4、校正三維坐標計算公式，從而校正折射；

S5、拍攝深海水下目標物圖像，計算三維坐標，實時反饋給機械臂。

2.根據(jù)權利要求1所述的一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，步驟S1的具體步驟如下：

S11、制作一個H×I的棋盤格，棋盤圖格點相距設定距離；

S12、用雙目系統(tǒng)同時采集不同位姿棋盤格圖若干組，保存圖片；

S13、將圖片導入到標定程序中進行角點檢測并標定；

S14、如果標定誤差小于0.5像素,標定完成，導出參數(shù)，否則剔除標定誤差超過0.5像素的棋盤圖，重復步驟S13和步驟S14；

S15、保存標定得到的相機內參和外參；

所述內參的矩陣為：

其中f表示雙目相機的焦距，單位為mm，d_x和d_y表示像元尺寸，分別表示為x軸和y軸上的歸一化焦距；u₀和v₀表示為圖像坐標系的圖像中心點；

所述外參的矩陣為：

其中R表示旋轉矩陣，T表示平移矩陣。

3.根據(jù)權利要求1所述的一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，步驟S2具體如下：

S21、在機械臂上標記固定E個標記點，分別距離雙目系統(tǒng)設定距離；

S22、用雙目系統(tǒng)中的雙目相機在空氣中同時拍攝所有標記點，保存圖片；

S23、將拍攝到的圖片載入到雙目系統(tǒng)的程序中，計算機械臂上固定所有標記點在空氣中的深度信息Z_air1、Z_air2、……Z_aire。

4.根據(jù)權利要求1所述的一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，步驟S3具體為：

S31、用雙目相機在深海水下同時拍攝已標定的E個標記點，保存圖片；

S32、將拍攝到的圖片載入到雙目系統(tǒng)的程序中，計算機機械臂上E點在水下的深度信息Z_sea1、Z_sea2、……Z_seae。

5.根據(jù)權利要求1所述的一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，步驟S4具體為：

S41、分別計算水下與水上對應E個標記點在深度信息上對應的比值，k₁＝Z_air1/Z_sea1，k₂＝Z_air2/Z_sea2……k_e＝Z_aire/Z_seae；

S42、計算均值k＝(k₁+k₂……+k_e)/e；

S43、深海水下像素坐標與世界坐標之間的轉換關系為：

其中u，v為像素坐標系下的坐標，X_w,Y_w,Z_w為世界坐標系下的坐標；

相機坐標系與世界坐標系之間的轉換關系：

X_c,Y_c,Z_c為相機坐標系下的坐標。

6.根據(jù)權利要求1所述的一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，步驟S2中標記固定點數(shù)為5個。

7.根據(jù)權利要求1所述的一種應用于深海機械臂作業(yè)的視覺引導的方法，其特征在于，步驟S5具體步驟如下：

S51、用雙目相機同時拍攝深海水下目標物，保存圖片；

S52、將拍攝到的圖片載入到雙目系統(tǒng)的程序中，用校正過的公式計算三維坐標；

S53、將計算出來的三維坐標反饋給機械臂。