[發(fā)明專利]基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法

有效

• 申請?zhí)枺?/td>: 202111367940.0
• 申請日: 2021-11-18
• 公開（公告）號: CN114147704B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計）人: 謝非;李群召;施夢臣;凌旭;鄭鵬飛;夏光圣;吳佳豪;張培彪;單飛宇
• 申請（專利權(quán)）人: 南京師范大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 向文

本發(fā)明公開了一種基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法，包括：識別待抓取的物體位置，獲取待抓取物體的機(jī)械臂空間坐標(biāo)；通過逆運動學(xué)解析算法，將機(jī)械臂空間坐標(biāo)信息轉(zhuǎn)換為機(jī)械臂舵機(jī)的角度信息；獲得含有待抓取物體的目標(biāo)圖像；對目標(biāo)圖像中的待抓取物體進(jìn)行形心位置計算；判斷待抓取物體形心是否在深度攝像頭中心線上，若不在，則通過待抓取物體的形心位置來計算增量；將增量作為反饋信號輸送到逆運動學(xué)解析算法，得到更新后的待抓取物體的機(jī)械臂空間坐標(biāo)，驅(qū)動機(jī)械臂抓取物體。本發(fā)明同時兼顧了傳感器的設(shè)備價格與機(jī)械臂執(zhí)行效率，機(jī)械臂的定位準(zhǔn)確度和抓取物體的成功率都有顯著的提高。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)械臂領(lǐng)域，涉及機(jī)器人控制及機(jī)器視覺技術(shù)，具體涉及一種基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法。

背景技術(shù)

隨著機(jī)器視覺和機(jī)器人技術(shù)的發(fā)展與革新，機(jī)械臂作為工業(yè)機(jī)器人領(lǐng)域中的一員，也越來越受歡迎，在智能制造背景的驅(qū)動之下，機(jī)械臂在人們的日常生活中也越來越普及。對于移動機(jī)器人來說，許多移動機(jī)器人需要配備機(jī)械臂從而更好的完成一些抓取任務(wù)。目前，市面上存在的高精度機(jī)械臂誤差小，但是造價昂貴，對于應(yīng)用場景環(huán)境要求也比較高。而價格稍低的機(jī)械臂往往因為使用多個串行的舵機(jī)而導(dǎo)致其機(jī)械臂抓取定位誤差大，機(jī)械臂的夾爪抓取的位置和實際位置存在較大的誤差，如果對物體抓取的空間位置要求較高，則很容易出現(xiàn)機(jī)械臂的夾爪抓取失敗的情況。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，提供一種實時性強(qiáng)、識別率高、抗背景環(huán)境干擾能力強(qiáng)的基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法。

技術(shù)方案：為實現(xiàn)上述目的，本發(fā)明提供一種基于深度視覺與增量閉環(huán)的機(jī)械臂精準(zhǔn)定位及抓取方法，包括如下步驟：

S1：利用安裝于機(jī)械臂的夾爪后部的深度攝像頭識別待抓取的物體位置，標(biāo)定機(jī)械臂的空間三維坐標(biāo)系O_{機(jī)械臂}，再通過上位機(jī)進(jìn)行編程向機(jī)械臂發(fā)送待抓取物體的機(jī)械臂空間坐標(biāo)；

S2：通過逆運動學(xué)解析算法，將待抓取物體的機(jī)械臂空間坐標(biāo)信息轉(zhuǎn)換為機(jī)械臂舵機(jī)的角度信息；

常見的六自由度機(jī)械臂含有六個舵機(jī)，分別解算這六個舵機(jī)的運動角度信息，可以生成多種機(jī)械臂的空間姿態(tài)，逆運動學(xué)解析算法會根據(jù)路徑最優(yōu)的原則進(jìn)行機(jī)械臂最優(yōu)運動軌跡的設(shè)計，從而將機(jī)械臂的夾爪運動到待抓取物體的機(jī)械臂空間坐標(biāo)位置；

S3：將深度攝像頭拍攝得到的場景彩色圖像進(jìn)行裁剪及二值化，獲得含有待抓取物體的目標(biāo)圖像；

圖像的二值化，就是將圖像上的像素點的灰度值設(shè)置為0或255，也就是將整個圖像呈現(xiàn)出明顯的只有黑和白的視覺效果；

S4：建立目標(biāo)圖像像素坐標(biāo)系及深度攝像頭空間坐標(biāo)系，對目標(biāo)圖像中的待抓取物體進(jìn)行形心位置計算；

S5：判斷待抓取物體形心是否在深度攝像頭中心線上，若在，則根據(jù)機(jī)械臂舵機(jī)的角度信息驅(qū)動機(jī)械臂抓取物體；若不在，則通過待抓取物體的形心位置來計算機(jī)械臂的偏移量，并通過修正得到反饋修正偏移量，即增量；

S6：將增量作為反饋信號輸送到步驟S2的逆運動學(xué)解析算法，得到更新后的待抓取物體的機(jī)械臂空間坐標(biāo)，重復(fù)步驟S2-S5，直至待抓取物體形心處于深度攝像頭中心線上，驅(qū)動機(jī)械臂抓取物體。

進(jìn)一步地，所述步驟S4中深度攝像頭空間坐標(biāo)系的建立方法為：初始化深度攝像頭空間坐標(biāo)位置，建立深度攝像頭空間坐標(biāo)系O_攝，其坐標(biāo)軸方向分別為：Z_攝軸為深度攝像頭鏡頭中心延長線，X_攝軸為垂直于機(jī)械臂的夾爪方向的中心延長線，Y_攝軸垂直于Z_攝軸與X_攝軸。

進(jìn)一步地，所述步驟S4中目標(biāo)圖像像素坐標(biāo)系的建立方式為：以圖像左下角為坐標(biāo)原點，建立圖像像素坐標(biāo)系O_像素。