[發明專利]一種基于深度學習的機械臂手部抓取物體的方法

有效

• 申請號: 201711162385.1
• 申請日: 2017-11-21
• 公開（公告）號: CN108081266B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 王傳江;侯鵬亮;王棟;朱坤懷;張遠來;袁振;孫秀娟
• 申請（專利權）人: 山東科技大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J9/22
• 代理公司: 青島智地領創專利代理有限公司 37252
• 代理人: 種艷麗

1.一種基于深度學習的機械臂手部抓取物體的方法，采用雙目相機、工作站以及多自由度機械臂實現語音控制機械臂抓取物體，采取對待抓取物進行理想化抓取，記錄下此時機械臂各關節電機的角度，做好映射關系，一個物體對應著一組機械臂電機的理論角度值；其特征在于：具體包括如下步驟：

步驟1：特定人語音訓練；具體包括如下步驟：

步驟1.1：對語音信號序列X(n)進行預處理，得到序列X_m(n)后，進行傅里葉變換：

X(i,k)＝FFT[X_m(n)]；

普線能量：E(i,k)＝[X(i,k)]²；

步驟1.2：經過Mel濾波器H_m(k)濾波：

其中，0≤m≤M，M是濾波器H_m(k)的數量；

經過Mel濾波器H_m(k)之后的能量：

步驟1.3：計算離散余弦變化倒譜的MFCC特征參數：

步驟1.4：將計算得到的特征矩陣跟指令以文件名稱的形式存起來，當收到語音信號時進行匹配，確定語音命令，得到待抓取物體；

步驟2：通過雙目相機進行三維建模；具體包括如下步驟：

步驟2.1：進行離線雙目相機標定，求得雙目相機的內外參數，確定旋轉矩陣與平移矩陣，從而將世界坐標系進行平移和轉換得到攝像機坐標系；

步驟2.2：根據雙目相機焦距進行三角幾何變換得到圖像物理坐標系；

步驟2.3：根據雙目相機內參數、像素和公制單位的比率得到圖像像素坐標系，得到物體在圖像物理坐標系中的坐標值；

步驟3：通過粒子群優化三層BP神經網絡對機械臂的角度進行矯正；具體包括如下步驟：

步驟3.1：樣本采集，輸入樣本是不準確的三維坐標值，輸出樣本是期望的三維坐標值；

步驟3.2：初始化，對中間多個神經元的權值跟閾值進行賦值；

步驟3.3：將訓練樣本輸入到網絡中，通過傳遞函數計算出網絡的實際輸出；

步驟3.4：根據目標輸出和實際輸出求得一般化誤差；

步驟3.5：根據一般化誤差對中間多個神經元的權值跟閾值進行矯正，直至神經網絡的全局誤差小于設定的誤差；

步驟3.6：粒子群優化BP的誤差函數；

隱含層節點y_i輸出：

其中：x_i為輸入節點，w_ji為輸入與隱層之間的權值，

輸出節點的輸出：

其中：v_lj為隱層與輸出之間的權值，

輸出節點的誤差E：

其中：t_l為期望的輸出；輸出節點的誤差函數E作為粒子群的優化函數；

步驟4：通過廣義回歸神經網絡GRNN進行求逆解，從而求出各個電機的角度；具體包括如下步驟：

步驟4.1：采集機械臂待抓取物體位置的三維坐標，以及此時對應的電機角度；

步驟4.2：將采集的機械臂的三維坐標作為輸入，將電機角度作為期望輸出，進行GRNN網絡建模；

步驟5：訓練AlexNet網絡的model；

在Caffe環境下，通過GPU訓練AlexNet網絡的model，通過python或者vs2013加載Caffe，調用model，對待抓取的物體進行識別；

步驟6：通過機械臂進行抓取。

2.根據權利要求1所述的基于深度學習的機械臂手部抓取物體的方法，其特征在于：步驟5中，具體包括如下步驟：

步驟5.1：收集樣本，做好標簽分類，選擇物體的照片，對物體進行人工分類并做好標記，圖片的大小均為227*227像素；

步驟5.2：樣本輸入時減去每張照片的均值，生成均值文件；

步驟5.3：建立AlexNet神經網絡；具體包括如下步驟：

步驟5.3.1：修改輸出神經元的個數，對來自最底層的數據類型ImageData類型進行轉換，轉成LMDB格式，然后執行步驟5.3.2進行初始化；

步驟5.3.2：對圖片進行剪切并設置頂層數據的維數，進行卷積操作，對圖像的局部特征進行相關性特征提取，然后將局部特征連接起來就是圖像整體的圖像特征，每張圖片的數據與權重相乘然后加上偏置就是中間層輸出結果；

步驟5.3.3：經過下采樣層對卷積層的輸出進行平均值池化，降低數據維數，之后進行全連接得到最終的數據；

步驟5.3.4：從輸出層到輸入層的反向計算，也是遍歷所有數據，然后根據頂層的數據梯度直接計算出偏置梯度，根據底層數據和頂層的數據梯度相乘計算出權重的梯度，然后頂層數據梯度與權重相乘得到底層的數據梯度；

步驟5.4：進行參數調節，修改參數文件的內容；

每次測試迭代1000次，每1000次進行一次測試，網絡學習率0.01，網絡動量值0.9，網絡權重衰減0.0005，最大迭代次數設置5000，每20次顯示一次，保存中間結果1000，model模式選擇GPU；

步驟5.5：應用Python加載Caffe訓練好的model，然后通過攝像頭對待識別物體進行識別，之后與樣本匹配選擇出與待識別物體最接近的標簽。