[發明專利]一種基于深度學習的機械臂手部抓取物體的方法

有效

• 申請號: 201711162385.1
• 申請日: 2017-11-21
• 公開（公告）號: CN108081266B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 王傳江;侯鵬亮;王棟;朱坤懷;張遠來;袁振;孫秀娟
• 申請（專利權）人: 山東科技大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J9/22
• 代理公司: 青島智地領創專利代理有限公司 37252
• 代理人: 種艷麗

本發明公開了一種基于深度學習的機械臂手部物體抓取方法，屬于多自由度機械手控制技術領域，在抓取事物之前采用深度學習網絡架構提前做好標簽，進行訓練分類，一個標簽對應一種抓取角度做好數據庫，當使用者說出指令，經過語音識別確定要抓取的物體，然后經過圖像識別與定位找到物體并返回圖像坐標與機械臂手部抓取的角度，經過粒子群優化的BP神經網絡對圖像坐標進行矯正，最后經過GRNN網絡反解出各個電機需要轉的角度，轉到目標后機械手完成抓取。本發明可以實現選定目標抓取，同時避免了抓取不穩定的問題。

技術領域

本發明屬于多自由度機械手控制技術領域，具體涉及一種基于深度學習的機械臂手部抓取物體的方法。

背景技術

隨著社會的不斷發展，人們對社會服務的需求也會隨之增加，老年人與殘疾人士也成為人們關注的焦點。老年人口的迅速增長，導致老齡化在我國已經非常嚴重。據統計，在2016年60歲以上的人口已經達到了2.3億多，但并沒有如此多的護理人員來照顧這些老人。不僅如此，大量的傷殘人士同樣需要大量的護理人員。傳統的護理方式已經不能滿足現在社會現狀的需求，先進的護理機器人將會改善老年人與殘疾人的生活。隨著護理機器人走進人們的視野，護理機器人的功能更加完善。國內外對護理機器人的研發一直沒有松懈過，不論是荷蘭Exact Dynamics公司生產的MANUS康復機器人手臂，還是德國宇航中心研發的LWR輕型機械臂，護理機械臂的研發從未停止過，護理機械臂手部準確抓取不同物體的難點也隨之凸顯出來。

關節電機轉動一定的角度，通過路徑規劃找到合理的路徑，轉到目標，通過手部來進行抓取，但是具有如下缺點：不同物體的抓取穩定度不足，大多數機械臂只抓取單一特定結構的物體，而且容易將待抓取物碰倒。

發明內容

針對現有技術中存在的上述技術問題，本發明提出了一種基于深度學習的機械臂手部抓取物體的方法，設計合理，克服了現有技術的不足，具有良好的效果。

為了實現上述目的，本發明采用如下技術方案：

一種基于深度學習的機械臂手部抓取物體的方法，采用雙目相機、工作站以及多自由度機械臂實現語音控制機械臂抓取物體，采取對待抓取物進行理想化抓取，記錄下此時機械臂各關節電機的角度，做好映射關系，一個物體對應著一組機械臂電機的理論角度值；

具體包括如下步驟：

步驟1：特定人語音訓練；具體包括如下步驟：

步驟1.1：對語音信號序列X(n)進行預處理，得到序列X_m(n)后，進行傅里葉變換：

X(i,k)＝FFT[X_m(n)]；

普線能量：E(i,k)＝[X(i,k)]²；

步驟1.2：經過Mel濾波器H_m(k)濾波：

其中，0≤m≤M，M是濾波器H_m(k)的數量；

經過Mel濾波器H_m(k)之后的能量：0≤m≤M；

步驟1.3：計算離散余弦變化倒譜的MFCC特征參數：

步驟1.4：將計算得到的特征矩陣跟指令以文件名稱的形式存起來，當收到語音信號時進行匹配，確定語音命令，得到待抓取物體；

步驟2：通過雙目相機進行三維建模；具體包括如下步驟：

步驟2.1：進行離線雙目相機標定，求得雙目相機的內外參數，確定旋轉矩陣與平移矩陣，從而將世界坐標系進行平移和轉換得到攝像機坐標系；