[發(fā)明專利]一種面向多目標種類的機械臂自適應(yīng)抓取方法

有效

• 申請?zhí)枺?/td>: 201910206721.0
• 申請日: 2019-03-19
• 公開（公告）號: CN109986560B
• 公開（公告）日: 2023-02-14
• 發(fā)明（設(shè)計）人: 易廷昊;翟昱;代夷帆;姜宇帆;張云濤;馬英
• 申請（專利權(quán)）人: 埃夫特智能裝備股份有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京匯信合知識產(chǎn)權(quán)代理有限公司 11335
• 代理人: 寇俊波

1.一種面向多目標種類的機械臂自適應(yīng)抓取方法,其特征在于，包括以下步驟：

（1）先進行圖像采集以及圖像預(yù)處理，通過相機采集場景中深度圖像和彩色圖像，對獲取到的深度圖像和彩色圖像進行修補處理；

（2）在處理后的圖像上隨機采樣若干個候選的抓取位置及姿態(tài)對，將其放入一個集合中，形成候選抓取點集合；

（3）依次判斷候選抓取點集合中每一個候選抓取點的位置是否合法，若不合法則將其從候選抓取點集合中移除；

a）根據(jù)每一個抓取點所采集到的圖像信息，計算每一個抓取點所對應(yīng)的笛卡爾空間位姿；

b）通過機器人逆解，計算每一個抓取點笛卡爾空間位姿所對應(yīng)的機器人關(guān)節(jié)角；

c）若步驟b）中所得到的關(guān)節(jié)角出現(xiàn)關(guān)節(jié)角無解或超出限定范圍的情況，則判定其所對應(yīng)的抓取點為不合法，將該抓取點從候選抓取點集合中移除；

d）根據(jù)剩下抓取點所對應(yīng)的關(guān)節(jié)角，計算每一個抓取點所對應(yīng)機器人部件的包圍盒,根據(jù)所得到的包圍盒計算機器人自身部件是否發(fā)生碰撞以及機器人部件是否與周邊環(huán)境發(fā)生碰撞；

e）若上述步驟d）中出現(xiàn)碰撞情況，則判定其所對應(yīng)的抓取點為不合法，將該抓取點從候選抓取點集合中移除；

（4）重復(fù)上述步驟（3），直到所述候選抓取點集合中僅剩合法的抓取點；

（5）對上述步驟（4）中剩下的合法抓取點，準備其抓取成功率預(yù)測的輸入數(shù)據(jù)，即生成帶有合法抓取點信息的RGBD圖像；

（6）構(gòu)建抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)及其數(shù)據(jù)集，以及訓練抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)；

具體的，a）隨機抽取若干個生活常見物品種類將其隨機堆疊擺放在機器人前并進行圖像采集，并通過工具在圖像上人工標注抓取點；

b）重復(fù)步驟（6）中的步驟a），形成訓練集的輸入數(shù)據(jù)集；

c）利用抓取質(zhì)量評分方法，通過實際由機器人運動至指定位置進行一次抓取，記錄抓取結(jié)果是否成功，抓取成功為1，抓取失敗為0，然后將抓取質(zhì)量評分放縮至[0,1]區(qū)間，之后將抓取質(zhì)量評分與抓取結(jié)果之間的乘積作為抓取成功率；

d）將步驟（6）中的步驟b）中生成的輸入數(shù)據(jù)集，分別用步驟（6）中的步驟c）中的方法計算成功率，形成輸出數(shù)據(jù)集；

（7）將步驟（5）中準備好的輸入數(shù)據(jù)分別輸入步驟（6）中的抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)，預(yù)測每一個抓取點所對應(yīng)的抓取成功率；

（8）選擇預(yù)測成功率最高且不低于85%的抓取點；將其通過旋轉(zhuǎn)矩陣及機械臂逆解轉(zhuǎn)化為機械臂運動；

（9）通過機械臂運動帶動固定在其末端的夾爪執(zhí)行抓取任務(wù)。

2.根據(jù)權(quán)利要求1所述的一種面向多目標種類的機械臂自適應(yīng)抓取方法,其特征在于：所述步驟（5）中輸入數(shù)據(jù)的準備步驟具體如下：

a）復(fù)制步驟（1）中相機所采集的彩色圖像；

b）根據(jù)固定在機械臂末端的夾爪的物理形狀，計算夾爪開合路徑以抓取點位置為中心，抓取點姿態(tài)為抓取姿態(tài)時在深度圖上的投影，并在深度圖上標記出來；

c）將步驟（5）中的步驟a）、步驟（5）中的步驟b）中的圖像結(jié)合，形成帶有抓取位置標記的RGBD圖像。

3.根據(jù)權(quán)利要求1所述的一種面向多目標種類的機械臂自適應(yīng)抓取方法,其特征在于：所述步驟（6）中構(gòu)建抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)的步驟具體如下：

a）在VGG-16網(wǎng)絡(luò)標準的彩色三通道彩圖基礎(chǔ)上增加了一個輸入包含抓取蒙板的深度圖通道；

b）移除pool3，pool4，pool5和conv5；

c）將softmax更改為sigmoid層；

d）調(diào)整后續(xù)各層的參數(shù)；

e）系統(tǒng)輸出對于本次抓取的成功率預(yù)測。

4.根據(jù)權(quán)利要求1所述的一種面向多目標種類的機械臂自適應(yīng)抓取方法,其特征在于：所述步驟（6）中抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)的訓練步驟具體如下：

a）利用構(gòu)建抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)及其數(shù)據(jù)集，并初始化抓取成功率預(yù)測神經(jīng)網(wǎng)絡(luò)各項參數(shù)，設(shè)置訓練參數(shù)；

b）通過訓練得到的權(quán)重計算數(shù)據(jù)集中每一個抓取點所對應(yīng)的抓取成功率；

c）比對預(yù)測成功率與實際數(shù)據(jù)成功率的差，更新權(quán)重；

重復(fù)訓練直到模型收斂。