[發明專利]基于深度視覺的工業機器人物件抓取示教系統及方法

在審

• 申請號: 202010316300.6
• 申請日: 2020-04-21
• 公開（公告）號: CN111923053A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 陽安志;李衛燊;李衛銃
• 申請（專利權）人: 廣州里工實業有限公司
• 主分類號: B25J9/22
• 分類號: B25J9/22;B25J9/16;B25J11/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于深度視覺的工業機器人物件抓取示教系統，其特征在于，包括示教工作臺、相機、機器人、夾爪、機器人控制器和深度計算平臺，所述夾爪和相機安裝在所述機器人的手臂末端，所述機器人控制器控制連接所述機器人，并控制所述機器人驅動所述夾爪和相機同步在所述示教工作臺上移動，所述相機和所述機器人控制器通信連接所述深度計算平臺，所述深度計算平臺通過所述相機獲取所述夾爪的位置圖像數據，再計算所述夾爪抓取目標的實際位置信息，最后命令所述機器人控制器實現控制所述機器人抓放物件。

2.根據權利要求1所述的基于深度視覺的工業機器人物件抓取示教系統，其特征在于，所述示教工作臺上設有加工區、物件示教區、加工完成區和物件擺放區，所述加工區上設置有夾具。

3.根據權利要求1所述的基于深度視覺的工業機器人物件抓取示教系統，其特征在于，所述深度計算平臺包括相互數據連接的三個模塊：控制模塊、目標檢測模塊和相機模塊；所述相機模塊通過以太網通訊連接所述相機，所述控制模塊通過以太網通訊連接所述機器人控制器，所述目標檢測模塊通過所述相機模塊獲取的被檢測目標位置的圖像數據，計算出被檢測目標在圖像中的位置和方向角度信息，所述控制模塊發送特定的命令指令到所述所述機器人控制器。

4.根據權利要求3所述的基于深度視覺的工業機器人物件抓取示教系統，其特征在于，所述目標檢測模塊通過收集被檢測目標在多種環境下的圖像數據，并完成被檢測目標在圖像中的標注，基于這些圖像數據，訓練深度目標檢測算法，得到適合的參數模型；將參數模型保存在深度計算平臺，并實現目標檢測模塊的接口，返回被檢測目標在圖像中的位置和方向角度信息。

5.根據權利要求4所述的基于深度視覺的工業機器人物件抓取示教系統，其特征在于，所述深度目標檢測算法的具體步驟包括：

S1.輸入圖片，對圖片進行預處理，如調整大小等；

S2.對預處理后的圖片，進行卷積層操作，包括卷積，池化，激活函數以提取特征，使用Resnet中C2、C3、C4三個部分的特征結果完成圖像特征的提取；

S3.對C2層的feature map進行上采樣，對C4層的feature map先上采樣，再通過一個Inception模塊，該Inception模塊由三種不同大小濾波器組成，包括3x3的卷積+1x1的卷積，1x1的卷積+5x1的卷積+1x5的卷積，5x5的卷積+1x1的卷積，最后將三種濾波器的結果進行拼接，再與C2層的feature map進行上采樣后結果相加，得到一個新的feature map F3；

S4.將feature map F3通過像素注意網絡的卷積運算得到一個雙通道顯著性圖，接著對顯著性圖進行Softmax排序，選擇其中一個通道與F3相乘，得到一個新的informationfeature map A3；

S5.將information feature map A3通過生成網絡RPN，生成目標對象的候選框，為了提高RPN的計算速度，訓練模型進行NMS操作時，先計算12000個回歸框，基于分數排序得到2000個；

S6.將S5的結果通過Resnet的C5塊，再通過全局平均池GAP以獲得更好的效果；

S7.對S6輸出的結果，進行分類和定位，引入五個參數(x；y；w；h；θ)來表示arbitrary-oriented的目標最小外接矩形；其中，回歸旋轉邊界框的定義為：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a

t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a

其中，x,y,w,h,θ分別表示框的中心坐標，以及寬度、高度和角度信息，變量x,x_a,x′分別表示水平檢測框、錨點框以及預測框。

6.基于深度視覺的工業機器人物件抓取示教方法，其特征在于，利用權利要求1-5任一所述的基于深度視覺的工業機器人物件抓取示教系統執行如下步驟：

S1.放置待加工物件到物件示教區，深度計算平臺連接機器人控制器，并控制機器人帶動夾爪和相機到物件示教區，通過相機獲取待加工物件在物件示教區的圖像數據，使用目標檢測算法檢測圖像中的待加工物件對象，并記錄物件示教區待加工物件的位置和方向信息；

S2.分別放置待加工物件到物件擺放區和加工完成區，分別驅動機器人到物件擺放區和加工完成區，分別通過相機獲取待加工物件在物件擺放區和加工完成區的圖像數據，使用目標檢測算法檢測圖像中的待加工物件對象，并分別記錄物件擺放區和加工完成區上待加工物件的位置和方向信息；

S3.深度計算平臺對S1和S2記錄的數據進行分析，規劃系統示教的路徑，基于手眼標定系統的位姿轉換參數，計算圖像中物件在機器人基座坐標系下的位置和姿態，調整移動夾爪處于物件的正上方，控制機器人從物件擺放區依次抓取待加工物件；

S4.控制機器人將物件擺放區上的待加工物件抓取移動到加工區，通過相機獲取待加工物件在加工區的圖像數據，使用目標檢測算法檢測加工區上夾具的位置和方向信息，將待加工物件抓取放置在夾具上，等待加工完成；

S5.控制機器人移動物件到加工區，通過相機獲取待加工物件在加工區的圖像數據，使用目標檢測算法檢測夾具上加工已完成的待加工物件位置和方向信息，控制夾爪抓取物件，并按S2記錄的信息將加工區完成加工的物件依次原樣放置在示教工作臺的加工完成區；

S6.依次重復步驟S2-步驟S5完成機器人視覺示教。