[發(fā)明專利]基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法有效
| 申請?zhí)枺?/td> | 202111367940.0 | 申請日： | 2021-11-18 |
| 公開（公告）號： | CN114147704B | 公開（公告）日： | 2023-09-22 |
| 發(fā)明（設(shè)計(jì)）人： | 謝非;李群召;施夢臣;凌旭;鄭鵬飛;夏光圣;吳佳豪;張培彪;單飛宇 | 申請（專利權(quán)）人： | 南京師范大學(xué) |
| 主分類號： | B25J9/16 | 分類號： | B25J9/16 |
| 代理公司： | 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204 | 代理人： | 向文 |
| 地址： | 210046 *** | 國省代碼： | 江蘇;32 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 深度 視覺 增量 閉環(huán) 機(jī)械 精準(zhǔn) 定位 抓取 方法 | ||
1.一種基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法，其特征在于，包括如下步驟：
S1：利用安裝于機(jī)械臂的夾爪后部的深度攝像頭識別待抓取的物體位置，通過上位機(jī)向機(jī)械臂發(fā)送待抓取物體的機(jī)械臂空間坐標(biāo)；
S2：通過逆運(yùn)動學(xué)解析算法，將待抓取物體的機(jī)械臂空間坐標(biāo)信息轉(zhuǎn)換為機(jī)械臂舵機(jī)的角度信息；
S3：將深度攝像頭拍攝得到的場景彩色圖像進(jìn)行裁剪及二值化，獲得含有待抓取物體的目標(biāo)圖像；
S4：建立目標(biāo)圖像像素坐標(biāo)系及深度攝像頭空間坐標(biāo)系，對目標(biāo)圖像中的待抓取物體進(jìn)行形心位置計(jì)算；
S5：判斷待抓取物體形心是否在深度攝像頭中心線上，若在，則根據(jù)機(jī)械臂舵機(jī)的角度信息驅(qū)動機(jī)械臂抓取物體；若不在，則通過待抓取物體的形心位置來計(jì)算機(jī)械臂的偏移量，并通過修正得到反饋修正偏移量，即增量；
S6：將增量作為反饋信號輸送到步驟S2的逆運(yùn)動學(xué)解析算法，得到更新后的待抓取物體的機(jī)械臂空間坐標(biāo)，重復(fù)步驟S2-S5，直至待抓取物體形心處于深度攝像頭中心線上，驅(qū)動機(jī)械臂抓取物體；
所述步驟S5中待抓取物體形心是否在深度攝像頭中心線上的判斷方法為：
A1：建立深度攝像頭空間坐標(biāo)系的初始原點(diǎn)坐標(biāo)O攝(0，0，0)，其中，O攝(0，0，0)坐標(biāo)點(diǎn)的前兩位坐標(biāo)值與圖像像素坐標(biāo)系O像素的圖像中心重合，其定義為：
O攝(0，0，0)定義為
其中，Xup-left、Xdown-right分別為圖像像素坐標(biāo)系O像素下的圖像左上角橫坐標(biāo)像素點(diǎn)與圖像右下角橫坐標(biāo)像素點(diǎn)；Yup-left、Ydown-right分別為圖像像素坐標(biāo)系O像素下的圖像左上角縱坐標(biāo)像素點(diǎn)與圖像右下角縱坐標(biāo)像素點(diǎn)；
A2：定義深度攝像頭中心線為一條過圖像像素坐標(biāo)系O像素平面坐標(biāo)點(diǎn)，且垂直于O像素平面的一條虛擬直線，也即為攝像頭空間坐標(biāo)系O攝中的Z攝軸；
A3：將待抓取物體圖像像素坐標(biāo)系下的形心坐標(biāo)轉(zhuǎn)換為深度攝像頭空間坐標(biāo)系O攝下的待抓取物體形心坐標(biāo)，其公式如下：
其中，f為深度攝像頭的焦距，L為深度d攝像頭所測量的深度，Xs是待抓取物體的深度攝像頭空間坐標(biāo)系O攝下的形心橫坐標(biāo)，Ys待抓取物體的深度攝像頭空間坐標(biāo)系O攝下的形心縱坐標(biāo)，則待抓取物體形心坐標(biāo)為(Xs，Ys，L)；
A4：設(shè)計(jì)一種閾值系數(shù)α，其計(jì)算公式如下：
其中，X攝right、X攝left為待抓取物體在O攝坐標(biāo)系下最右端與最左端邊緣點(diǎn)的橫坐標(biāo)，Y攝up、Y攝down為待抓取物體在O攝坐標(biāo)系下最上端與最下端邊緣點(diǎn)的縱坐標(biāo)，n為機(jī)械臂舵機(jī)個數(shù)；
A5：將閾值系數(shù)α用于判斷物體形心是否處于深度攝像頭中心的延伸線上，當(dāng)時，認(rèn)定為待抓取物體形心處于深度攝像頭中心線上，否則認(rèn)定為待抓取物體在深度攝像頭空間坐標(biāo)下的形心不在深度攝像頭中心線上。
2.根據(jù)權(quán)利要求1所述的一種基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法，其特征在于，所述步驟S4中深度攝像頭空間坐標(biāo)系的建立方法為：初始化深度攝像頭空間坐標(biāo)位置，建立深度攝像頭空間坐標(biāo)系O攝，其坐標(biāo)軸方向分別為：Z攝軸為深度攝像頭鏡頭中心延長線，X攝軸為垂直于機(jī)械臂的夾爪方向的中心延長線，Y攝軸垂直于Z攝軸與X攝軸。
3.根據(jù)權(quán)利要求1所述的一種基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法，其特征在于，所述步驟S4中目標(biāo)圖像像素坐標(biāo)系的建立方式為：以圖像左下角為坐標(biāo)原點(diǎn)，建立圖像像素坐標(biāo)系O像素。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于南京師范大學(xué)，未經(jīng)南京師范大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202111367940.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
