[發明專利]一種基于深度卷積神經網絡的工業機械臂視覺控制方法

有效

• 申請號: 201710021710.6
• 申請日: 2017-01-12
• 公開（公告）號: CN106874914B
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 皮思遠;肖南峰
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06K9/66;G06N3/08;B25J9/16
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 羅觀祥

1.一種基于深度卷積神經網絡的工業機械臂視覺控制方法，其特征在于，包括以下步驟：

1)目標物體視覺信息采集與預處理

將目標物體放置于工作臺上，利用CCD照像機采集目標物體圖像的顏色信息圖片和深度信息，以及進行人工標注理想抓取位姿點；

2)訓練與調整深度卷積神經網絡模型

利用步驟1)中采集的目標物體對預設深度神經網絡進行訓練，得到目標物體模型高層次特征表達，得到預訓練的深度卷積神經網絡模型，并利用一組測試數據調整和測試預訓練的深度卷積神經網絡模型的準確率；

其中，采用深度卷積神經網絡對工作臺上的目標物體的理想抓取點進行識別從而控制工業機械臂進行抓取工業加工處理操作，具體實現為如下：

在深度卷積神經網絡中主要包括卷積運算操作層、下采樣層、激活層以及全連接層；其中在激活層中使用的是修正線性單元函數，全連接層用于深度卷積網絡的最后一層，得出深度卷積網絡的預測結果；

卷積運算操作層通過令每個神經元與下一層的若干個局部區域相連接，將目標物體視覺信息圖像輸入到卷積運算層中，計算權重和局部區域圖像像素值的內積，卷積運算后的輸出y與卷積核w、卷積前的輸入x關系如下：

其中y_j是卷積后輸出向量中的元素，x_i是與y_j對應的卷積前輸入的局部區域中的像素，從而提取局部區域的特征結果信息，在整幅圖像上滑動的重復計算這個過程，提取得到整幅圖像關于此權重向量的特征結果信息，這部分權重值組成的向量稱為卷積核或過濾器；過濾器能夠提取出目標物體圖像的部分特征信息，當過濾器與局部區域圖像像素進行內積操作時，存在特征內積輸出展現為激活狀態；經過卷積運算操作后就能得到新的目標物體的二維表示，在單個卷積運算操作層中應用若干過濾器提取目標物體若干新的二維表示，其中過濾器相對應的特征的表達結果保留在新的二維表示中，在訓練過程中，根據神經網絡預測結果與真實結果的誤差，通過反向計算最終誤差對每一層的參數的導數，即誤差函數的梯度對卷積核進行修正，從而使網絡能夠學習到目標物體理想抓取位置的特征；

在卷積運算操作層中，每一層的神經元僅與上一層的局部區域相連接，前一層的以滑動窗口的方式對內積和像素值進行內積操作；在內積操作中，僅窗口中的目標物體圖像像素值參與內積運算；滑動方式是每次窗口向右移動若干單位的像素即使得窗口覆蓋新的局部區域，若已到達目標物體圖像的右邊界，則移動窗口回到目標圖像的左邊界，并將窗口向下移動若干單位的像素；此窗口即為過濾器或卷積核，其具有長度和寬度即具有長×寬的像素大小的區域；上述運算提取出目標物體圖像具有過濾器所表示特征的過濾結果；在實際應用中，過濾器的長、寬、數量屬于超參數，需要手動設置；通過這樣的方式，過濾器減少了卷積操作層中需要的參數數量，實現了層中參數共享的作用；

下采樣層，也即池化層，經過卷積運算操作層后，得到的目標物體新的二維表示仍然存在維度過高的情形，維數過多使得訓練難度增加，容易使得深度卷積網絡產生過擬合現象，需要通過下采樣方法降低新的二維表示的數據維度；下采樣的方法是對圖像數據中不同位置的特征進行聚合統計，具體是：將目標物體新的二維表示分割成大小相同的若干的小區域，以此小區域的統計特征表示該區域，從而使得數據的維度降低；通常卷積運算操作層和下采樣層合并認為是一層；

3)驗證模型與保存模型

將CCD照像機采集新的目標物體圖像的樣本作為步驟2)得到的深度卷積神經網絡的輸入，得到目標物體上的理想抓取位置，以此位置作為目標點，控制機械臂進行抓取操作。